想握住此生辽阔

RNN-LSTM:用深度学习处理时间序列的信号LSTM网络（long short term memory，长短时记忆神经网络）。

特征提取：PCA（主成分分析）1947特征选择：AdaBoost(自适应提升算法)1995特征提取特征选择特征提取是构造一个函数，把N个特征都用上，构造一些f把x降低到一个低的维度特征选择是从N个特征中选M个使得识别率最高当N很大M很小，选法将会很多，而且这是一个离散化问题（连续化问题是指求最优化的时候至少有导数，有导数就可以用梯度下降，离散化的问题没有导数的概念（选了这个不选另外一个），除了暴力破解或者启发性的方法之外 ，暂时还没有别的方法来做这样的事情）启发性方法：①递增法，

Caffe caffe的优点：模型标准化，源代码是公开的，适用于图像识别，通过修改代码可以将其变成符合自己需求的模型caffe的缺点：结构不够灵活，因为caffe就是为了卷积神经网络进行设计的流行的网络结构ResNet：残差网络卷积神经网络的应用人脸识别迁移学习：把一个Domain的经验迁移到另一个Domain去(比如人脸是被中用的数据库大都是欧美人脸，对于训练好的网络，我们再用亚洲人脸进行微微调整，优化参数)机器学习——深度学习之编程工具、流行网络结构、卷积神经网络结构的应用...

Relu函数：如果神经元个数设置得非常多，误差向前传的时候，或者说每一个神经元都有一个激活值的话，用sigmoid和tanh是不好的，Relu函数在大于0时取原来的值，小于0时取0，导致的结果是每一层里面小于0的地方全部变成0了，这样，每一层里面，每一次运行的时候，激活的神经元个数大致是一半左右（假定大于0和小于0的概率差不多）对于某一层神经元有很多层的情况，每一次值训练一半的数据，可以相对有效地控制收敛的速度（不至于每一次改变所有的值）使得收敛性变得更好Relu函数大于0时斜率为1，可以避免sigm..

数据库介绍卷积神经网络卷积神经网络把手工设计卷积核变成自动学习卷积核卷积核：所做的事，先*再+先把卷积核放到原图像上与原图像重合，b是偏置如下图，当步长为2时，如果原来是55，卷积核是22，最后一列就不能计算，得到的特征图是22，但是最后一列也有可能包含有用信息，于是我们进行补0扩列操作，这样将会得到33的特征图。卷积神经网络的卷积操作可以看成是一个多层神经网络共享了权重，同时有一些w=0卷积核也经常被叫做filter就得到16个10*10的特征图整个卷积神经网络的计算速度取

过拟合：只在训练样本上有很好的表现，没法把这种好的表现推广到测试集对梯度做均值化使优化路径在每一个梯度上都比较一致：在梯度特别大的地方除以梯度的绝对值，在梯度特别小的地方也除以梯度的绝对值，结果是梯度高的地方步长变小，梯度绝对值低的地方步长变大，使优化路径在每一个梯度上都比较一致...

神经元的数学模型 后向传播算法梯度下降法求局部极值，从起点处开始，向着梯度下降的地方，一次移动一定的步长，直到找到一个极值点。（这个方法的好坏与初始值的选取有很大的关系）...

在交叉验证中，训练样本不做测试（训练样本的测试结果不能作为模型好坏的评判标准）交叉验证可以充分利用训练样本留一法：把n个样本分成n份，每次训练n-1个，留一个样本做测试模型没训练好的情况：①：参数没选好②数据集本身没有规律，③SVM算法没有找到这些数据的规律如果一个系统把更多的正样本识别为正样本，那么也一定会把更多的负样本识别为负样本，即TP增加，则FP也增加在这张ROC图中,对于横坐标每一个识别错误（FP），蓝色的线纵坐标（TP）都更高，所以蓝色的线的模型性能更好，一般比较系统，比较FP为0时的

凸函数定义变机器学习——支持向量机SVM之非线性模型（原问题转化为对偶问题）

在只知道k不知道fai的情况下解优化问题所以引出原问题和对偶问题inf是求最小值原问题和对偶问题的关系机器学习——支持向量机SVM之非线性模型（原问题和对偶问题）

上面是w的一种取值情况当前w的取值刚好把高维x1,x2,x3,x4分成两类，（1.3>0）（-1.-1<0）结论：把x移动到高维，更有可能被一个线性的超平面分开,维度越高，被线性分开的概率越大，当维度无穷，线性分开的概率为1如何选取fai（x）(SVM最有创造力的方面)①fai（x）选择无限维效果会好一点根据这个条件，w也会是无限维（整个的优化将会不可做）核函数的自变量是两个地位向量x1,x2,值是fai(x1)和fai（x2）的內积，得到的是一个数常用核函数高斯核，多项式.

上文提到的加正则项的处理方法，也只是找出一条直线，对于下面的情况，却无能为力，能够找出一条直线，但是对于解决问题却没有太大的帮助如果能找到这样一个曲面就好了，但是上文的方法限定了是找出一条直线于是，针对这样上文非线性问题，提出了一个合理化的解决途径SVM的创始人提出去高维空间找一条直线。定义了一个高维映射x矢量通过映射变成x是低维的矢量，是高维的矢量在低维空间线性不可分的数据集到了高维空间将会以更大的概率被线性分开，解决方法不是在低维空间找不是直线的决策面，而是把低维的矢量映射到高维去，再

SVM处理非线性：让非线性可分也有解改造方式如果训练样本不是线性可分的，就找不出w和b满足下面这个式子，所以引入了松弛变量引入了松弛变量使得上面这个限制条件可以成立最小化w的模是为了最大化d，但是又不能让kesai i 太大，太大的话优化问题会过于发散，上面这个式子就是为了限制kesai i不会 太大，相当于把所有的kesai i求和，加了一个系数C，换句话说，C有两个任务，1是最小化w的模，第二个任务是让每一个kesai i都比较小加了上面的限制条件，对于所有的非线性可分的情况，我们都

线性模型问题对于样本数较少，都能得到较好的结果20世纪70年代，一个苏联人发明了这个方法凡是可以用一条直线分开的，我们称为线性可分样本集如何在线性可分样本集上画一条直线（有无数条直线可以分开，那么哪一条直线最好）2号线对于误差的容忍度更大一点，跟样本分布有关系对于任意一条可以分开○和×的线，定义一个性能指标d推荐书籍：支持向量机导论数学描述d：间隔（margin）支持向量机是一个最大化间隔的方法直线移动的过程中切到的点（向量）称为支持向量，最后做出来的线只与支持向量有关（能够用

提取特征这一过程最重要，特征提取的好，不管用什么算法，基本上都能得到较好的结果，如果提取的特征差了，有很多噪声，不管用多好的算法，得出的结果都不会特别好，此课程没讲特征提取（假设所有特征已经提取好）没有免费午餐定理如果不对特征空间有先验假设（则没有办法评价算法的好坏），则所有算法的平均表现是一样的当样本标签未知的时候，算法好坏都是一样的，而像测试机这样已知标签的样本，才能评估算法性能的好坏根据已知样本对位置样本进行估计 我们认为:特征差距小的样本更有可能是同一类。有监督学习：给出数据和标签（标签就

■Reference Books:(1)机器学习，周志华，清华大学出版社，2016(2) 统计学习方法，李航，清华大学出版社，2012(3) Machine Learning in Action, P. Harrington,人民邮电出版社(4) Pattern Recognition and Machine Learning (模式识别与机器学习)，Christopher M. Bishop, 2006(5) Machine Learning: A Probabilistic Perspecti