机器学习原理解析与应用
机器学习与智能计算,tensorflow框架,mxnet框架,AI手记
麦好
硕士/量化投资协会成员
展开
-
英文过滤停用词
""" Created on Sun Nov 13 09:14:13 2016 @author: daxiong """ from nltk.corpus import stopwords from nltk.tokenize import sent_tokenize,word_tokenize #英文停止词,...转载 2018-10-23 12:35:12 · 5191 阅读 · 1 评论 -
数学之路(机器学习实践指南)-深度学习(1)-caffe
centos安装\[root@iZ23mdqdp94Z myhaspl]# yum install protobuf-devel leveldb-devel snappy-devel opencv-devel boost-devel hdf5-devel atlas-devel原创 2016-10-25 10:55:32 · 666 阅读 · 0 评论 -
sklearn之svm-葡萄酒质量预测(11)
本系列以sklearn的svm算法为例,对葡萄酒质量预测,也可换用其它方法,比如随机森林,因为sklearn的机器学习算法调用形式基本差不多,可以自行举一反三。现在,我们来把训练的模型保存,然后,需要的时候,直接将数据送入模型 ,无需再训练,先来看模型 保存与读入(模型持久化)模型的持久性在训练了一个scikit-learn模型之后,最好有一种方法来保存模型以供将来使用,而无需重新培训。下一...原创 2018-10-14 21:56:45 · 2912 阅读 · 0 评论 -
sklearn之svm-葡萄酒质量预测(12)
#!/usr/bin/env python2# -*- coding: utf-8 -*-"""Created on Sun Oct 14 20:48:28 2018@author: myhaspl@email:myhaspl@myhaspl.comsvm"""import pandas as pdimport numpy as npfrom sklearn import ..原创 2018-10-14 22:15:44 · 1965 阅读 · 0 评论 -
sklearn之svm-葡萄酒质量预测(8)
class sklearn.svm.SVC(C=1.0, kernel=’rbf’, degree=3, gamma=’auto_deprecated’, coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=-1, de...原创 2018-10-14 17:54:34 · 7415 阅读 · 0 评论 -
sklearn之svm-葡萄酒质量预测(9)
SVC数学原理给定训练向量i=1,…,n,在两个类中,和一个向量,SVC解决了以下原始问题:可变换为决策函数为:上式中的为核。原创 2018-10-14 18:16:44 · 1343 阅读 · 0 评论 -
sklearn之svm-葡萄酒质量预测(10)
下面我们接着以葡萄酒质量预测为例 ,设置svm参数,提高分类准确率。原创 2018-10-14 19:44:52 · 4790 阅读 · 0 评论 -
AI随笔-scala(1)
object learn { def main(args: Array[String]): Unit = { println(myPower(2,4)) } @annotation.tailrec def myPower(x:Int,n:Int,t:Int=1):Int={ if (n<1) t else myPower(x,n-1,x*...原创 2018-10-10 11:50:06 · 557 阅读 · 0 评论 -
阿里云随笔(10)-PAI-AutoML
在数据管理中,重新上传完整的白葡萄酒数据。然后可以进入数据开发,写sql代码对数据表进行查询。比如统计训练样本和测试数据的大小。原创 2018-10-07 15:01:28 · 2378 阅读 · 0 评论 -
决策树与随机森林
决策树(Decision Tree)与随机森林(Random Forest)决策树是用树的结构来构建分类模型,每个节点代表着一个属性,根据这个属性的划分,进入这个节点的儿子节点,直至叶子节点,每个叶子节点都表征着一定的类别,从而达到分类的目的。常用的决策树有ID4,C4.5,CART等。在生成树的过程中,需要选择用那个特征进行剖分,一般来说,选取的原则是,分开后能尽可能地提升纯度,可以用信息增...转载 2018-10-07 15:49:05 · 4179 阅读 · 0 评论 -
阿里云AI随笔(1)
1.先配置好OSS,并上传样本数据2.进入机器学习PAI,选择样本数据为OSS中样本数据,进行多分类原创 2018-10-05 22:32:36 · 391 阅读 · 0 评论 -
阿里云AI随笔(2)
创建表,准备导入本地数据原创 2018-10-06 13:58:54 · 336 阅读 · 0 评论 -
阿里云随笔(3)
试着在PAI面板中加入2个节点,然后随机森林选择字段,可行删除节点及连线后,继续加入数据。可直接创建表最后可查到这2个表原创 2018-10-06 16:22:31 · 286 阅读 · 0 评论 -
阿里云随笔(4)
查看模型原创 2018-10-06 16:42:33 · 343 阅读 · 0 评论 -
阿里云随笔(6)
列出oss桶下所有的csv文件:import tensorflow as tfFLAGS = tf.flags.FLAGStf.flags.DEFINE_string('buckets', 'oss://myhaspl-ai.oss-cn-beijing-internal.aliyuncs.com/', '') tf.flags.DEFINE_string('batch_size', '...原创 2018-10-06 20:58:15 · 355 阅读 · 0 评论 -
阿里云随笔(8)
下面一步是把训练结果写入oss的文件中,以便查看首先,写入阿里云oss的操作 #!/usr/bin/env python2# -*- coding: utf-8 -*-"""Created on Sat Sep 15 10:54:53 2018@author: myhaspl@email:myhaspl@myhaspl.com阿里云写文件入ossoss://myhaspl-ai....原创 2018-10-06 23:10:46 · 309 阅读 · 0 评论 -
华为云AI随笔(6)
创建交互式笔记本原创 2018-10-03 12:16:26 · 671 阅读 · 0 评论 -
华为云AI随笔(7)
查看数据情况原创 2018-10-03 23:03:55 · 2667 阅读 · 0 评论 -
华为云AI随笔(8)
原创 2018-10-04 09:09:09 · 2876 阅读 · 0 评论 -
AI理论随笔-基,坐标,子空间
1.设VVV是数域KKK的线性空间,x1,x2...,xrx_1,x_2...,x_rx1,x2...,xr是属于VVV的任意rrr个向量,如果它满足(1)x1,x2....,xnx_1,x_2....,x_nx1,x2....,xn线性无关(2)VVV中任一个向量xxx都是x1,x2,...,xnx_1,x_2,...,x_nx1,x2,...,xn的线性组合。则称x1,...原创 2018-10-04 16:23:38 · 406 阅读 · 0 评论 -
AI强化学习随笔(2)
gym库是一个测试问题的集合——环境——你可以用它来计算你的强化学习算法。这些环境有一个共享的接口,允许您编写通用算法。安装首先,您需要安装Python 3.5+。pip install gym从源代码构建如果您愿意,还可以直接克隆gym Git存储库。当你在修改体育馆或者添加环境的时候,这是非常有用的。下载和安装使用:git clone https://github.com/open...原创 2018-10-05 11:34:15 · 307 阅读 · 0 评论 -
华为云AI随笔(4)
在http://archive.ics.uci.edu/ml/datasets/wine+quality找到葡萄酒质量数据集(Wine Quality Dataset ),它涉及根据每种葡萄酒的化学度量值来预测白葡萄酒的质量。11个输入变量和一个输出变量。变量名如下:非挥发性酸度挥发性酸度柠檬酸残留糖氯化物游离二氧化硫总二氧化硫浓度pH值硫酸盐酒精度质量(得分在 0 和 ...原创 2018-10-03 09:39:38 · 744 阅读 · 0 评论 -
华为云AI随笔(5)
接(10)继续创建后的项目如下:原创 2018-10-03 10:34:53 · 1701 阅读 · 0 评论 -
AI理论随笔-最优化(4)
单纯形法(1):以下列方程为例:max z=12x4+5x5s.t.{x1+x2+x3+x4+x5=42x1+3x2+x3+7x4+4x5=12x2+x3+3x4+4x5=65x1+4x2+x3+5x4−2x5=17xj≥0(j=1,2,...,5)max\ z=12x_4+5x_5\\s.t.\left\{ \begin{array}{l}x_1+x_2+x_3+x_4+x...原创 2018-09-30 20:51:59 · 255 阅读 · 0 评论 -
AI理论随笔-最优化(5)
单纯形法(2)[11200−64144014013454014107494000000]\begin{bmatrix} 1&\frac{1}{2}&0&0&-\frac{6}{4}&\frac{14}{4}\\ 0& \frac{1}{4}&0&1&\...原创 2018-09-30 22:19:17 · 316 阅读 · 0 评论 -
AI理论随笔-对称矩阵、正交矩阵与特征向量,特征值(1)
一、对称矩阵(Symmetric Matrices)是指元素以主对角线为对称轴对应相等的矩阵。 对称矩阵是一个方形矩阵,其转置矩阵和自身相等。如果有n阶矩阵A,其矩阵的元素都为实数,且矩阵A的转置等于其本身(aij=aji)(i,j为元素的脚标),则称A为实对称矩阵。比如:A=[1272317111]A=\begin{bmatrix} 1 & 2&7\\ 2&...原创 2018-10-01 09:25:16 · 8627 阅读 · 0 评论 -
AI理论随笔-对称矩阵、正交矩阵与特征向量,特征值(2)
如果:AAT=EAA^T=EAAT=E(E为单位矩阵,ATA^TAT表示“矩阵A的转置矩阵”。)或ATA=EA^TA=EATA=E,则n阶实矩阵A称为正交矩阵,若A为正交阵,则满足以下条件:(1) ATA^TAT是正交矩阵(2) E为单位矩阵(3) A的各行是单位向量且两两正交(4) A的各列是单位向量且两两正交(5) $ (Ax,Ay)=(x,y)x,y∈R$(6) ∣A∣=1|A|...原创 2018-10-01 10:14:17 · 3876 阅读 · 1 评论 -
AI理论随笔-对称矩阵、正交矩阵与特征向量,特征值(3)
如果非零向量组a1,a2,...,ama_1,a_2,...,a_ma1,a2,...,am两两正交,即:ai⋅aj=aiTaj=0(i≠j;i,j=1,2,...,m)a_i \cdot a_j=a_i^Ta_j=0(i \neq j;i,j=1,2,...,m)ai⋅aj=aiTaj=0(i̸=j;i,j=1,2,...,m)则称该向量组为正交向量组。若每个向量为单位向量,...原创 2018-10-01 11:28:06 · 671 阅读 · 0 评论 -
计算思维(1)-质因数
每个合数都可以写成几个质数(也可称为素数)相乘的形式,这几个质数就都叫做这个合数的质因数。如果一个质数是某个数的因数,那么就说这个质数是这个数的质因数。而这个因数一定是一个质数(1除外)。质因数(素因数或质因子)在数论里是指能整除给定正整数的质数。两个没有共同质因子的正整数称为互质。因为1没有质因子,1与任何正整数(包括1本身)都是互质。正整数的因数分解可将正整数表示为一连串的质因子相乘,质因原创 2014-05-06 12:15:34 · 1751 阅读 · 0 评论 -
计算思维(2)- 滤波
巴特沃斯滤波器的特点是通频带内的频率响应曲线最大限度平坦,没有起伏,而在阻频带则逐渐下降为零。 在振幅的对数对角频率的波特图上,从某一边界角频率开始,振幅随着角频率的增加而逐步减少,趋向负无穷大。一阶巴特沃斯滤波器的衰减率为每倍频6分贝,每十倍频20分贝。二阶巴特沃斯滤波器的衰减率为每倍频12分贝、三阶巴特沃斯滤波器的衰减率为每倍频18分贝、如此类推。巴特沃斯滤波器的振幅对角频率原创 2014-05-10 08:52:45 · 2554 阅读 · 0 评论 -
AI理论随笔-最优化(2)
齐次线性方程组的解集的极大线性无关组称为该齐次线性方程组的基础解系。基础解系是线性无关的,简单的理解就是能够用它的线性组合表示出该方程组的任意一组解。基础解系不是唯一的,因为基础解系是AX=0的所有解的极大无关组。也是AX=0解空间的基基也不是唯一的。基础解系针对齐次线性方程组AX=0AX = 0AX=0而言的.当 r(A)≤nr(A)\leq nr(A)≤n (n是A的列数)时, 方程组存...原创 2018-09-28 21:54:25 · 341 阅读 · 0 评论 -
AI理论随笔-最优化(3)
非齐次方程组AX=bAX=bAX=b求解。可设前r列线性无关。(A:b)行变换→[c11c12......d1c22......d2...d2crr...drdr+1......](A:b)\underrightarrow{行变换}\begin{bmatrix} c_{11 }& c_{12}&...&原创 2018-09-29 13:18:46 · 278 阅读 · 0 评论 -
华为云AI随笔(3)
MLS 实例创建限制l 只支持“中国华北区”。l MLS依赖于MRS提供计算和存储资源,在创建MLS实例之前必须已有MRS集群, 如没有,请申请一个MRS集群。参见创建虚拟私有云和MRS集群。仅限于专属 版。l 用户创建的MLS实例必须和MRS集群在同一个可用分区、VPC、子网内。仅限于 专属版。l MLS实例创建好以后不支持修改规格,如果需要使用更高规格的节点,请重新创 建一个MLS实例...原创 2018-09-27 15:33:13 · 3728 阅读 · 0 评论 -
AI理论随笔-最优化(1)
线性规则(优化)是一类最优化问题。其中,目标函数是未知数的线性函数。约束条件是线性等式和线性不等式构成。标准形式为:KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲a &=b+c+d \\x…...原创 2018-09-28 14:45:39 · 439 阅读 · 0 评论 -
AI随笔-python3(4)
用vim或vi编写tensorflow代码yum install gitkeras测试训练20次,所以准确率较低安装gnomerebootwget https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.shbash Anaconda3-5.2.0...原创 2018-09-24 16:58:28 · 573 阅读 · 0 评论 -
华为云AI随笔(2)
购买华为MLS服务(机器学习服务)在此,使用按需计费然后,进入管理原创 2018-09-26 12:22:13 · 1882 阅读 · 0 评论 -
AI随笔-python3(5)
原创 2018-09-26 20:23:02 · 407 阅读 · 0 评论 -
AI随笔-python3(2)
yum -y install epel-releaseyum upgradeyum -y install python-pippip install --upgrade pippip3 install numpy检查pip3安装成果pip3 install tensorflow原创 2018-09-24 13:56:08 · 443 阅读 · 0 评论 -
华为云AI随笔(1)
原创 2018-09-23 19:22:35 · 634 阅读 · 0 评论 -
AI随笔-python3(1)
python版本太低,为2.7.5安装python3.6(1)安装依赖包 安装vim#wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tar.xzmkdir /usr/local/python3yum install bzip2tar -xvJf Python-3.6.4.tar...原创 2018-09-23 20:35:44 · 496 阅读 · 0 评论