神经网络学习笔记

神经网络模型

神经网络的模型来源于人脑的神经元模型，通过输入变量和非线性函数构造神经元，多神经元构成网络层，网络层之间构成的输入输出关系构成了神经网络的模型，神经网络实质上就是用函数拟合决策边界，与线性回归和逻辑回归模型相比，神经网络可以通过隐藏层更好的提取和保留输入的有利特征，在涉及到特征较多较复杂时达到更好的效果。

其中，输入向量与参数向量的内积构成了激活函数的输入

全连接神经网络中前后网络层构造新的输入向量可以看作类似于输入向量与参数矩阵的乘积再经过非线性函数的处理

神经网络的前向传播过程

神经网络的前向传播过程实际上就是将前一个网络层的输出作为下一个网络层的输入（其中x_0,a_0…成为偏置神经元，设为1，与参数相乘之后可以理解为多项式运算中的常数项）

多元分类问题

上面图片中所描述的神经网络实际上是一个二分类的模型，神经网络的输出结点只能输出0/1，所以单个输出结点只能完成二分类问题。对于多分类问题的解法就是将多分类问题拆解成若干个二分类问题，即每一个输出结点代表一类标签，对于每一个输出结点直接将多分类问题简化为是我/不是我的二分类问题，这样通过若干个输出结点结果的组合就可以完成对类别的确定。

所以，多分类问题的输出结果应该是一个由0/1组成的向量，因此，与此对应，多分类的标签也要进行相应的编码处理，例如one-hot编码。

代价函数

其中，m代表样本个数，K代表输出层神经元的个数，S_(l)代表神经网络第l个网络层的神经元个数。代价函数中的第二项为正则项（也称为复杂度惩罚项），神经网络的代价函数类似于多重逻辑回归代价函数的求和。

正则化

对于线性回归及逻辑回归而言，函数的复杂度过高往往会造成过拟合现象，使所得模型的泛化能力过低，无法达到好的预测效果，而在代价函数中添加复杂度惩罚项，就可以避免部分参数太大导致模型复杂度提高。

如上图，当我们求代价函数的最小值时，如果我们加上后两项惩罚项，就可以保证在获得相应参数更新的同时得到的θ_3和θ_4是较小的，如果θ_3和θ_4接近于0，那么我们最终的得到的第三个模型实际上是接近第二个模型的，这样同样能达到较好的预测结果。

实际应用中，我们并不知道应该缩小哪些参数避免过拟合，所以选择尽量缩小所有参数，通过λ的不同取值保证各参数最终求值正确(不能对所有参数都是同样的惩罚力度），同时，控制代价函数前后两项的平衡。

反向传播

反向传播就是对神经网络中的每一个结点求误差，根据图中的公式累加每个结点的误差，最终得到代价函数对每个参数的偏导，再根据梯度下降迭代参数，达到修正参数的目的。
其中，δ的求法：

神经网络中结点代价函数对参数的导数等于该节点的误差乘以该参数对应的前一层结点的激活值。

参数初始化

参数初始化时不能设为全零，设为全零会导致反向传播修正参数时从相同结点出发的权重会一直相同(即图中颜色相同的线上的参数保持相同变化），这样会导致神经网络的结点高度冗余，所以，一般在进行参数初始化时会使用随机初始化。

偏差与方差的诊断

在我们用模型进行数据拟合时，一般会出现两种问题：高偏差和高方差。高偏差代表着低拟合，高方差代表着过拟合。这两种现象可以借由训练误差和交叉验证误差判断。

当训练误差跟交叉验证误差都很大是一般模型处于低拟合状态，当交叉验证误差较大，训练误差较小时一般模型处于过拟合状态。

正则系数的选取

对代价函数选取不同的正则系数λ，基于训练集训练模型选取不同的参数，再通过交叉验证集完成对λ的挑选，最后通过测试集测试模型准确度。

建立机器学习模型

1. 确定输入输出变量
2. 误差分析
   通过一个较简单的模型先分析可能造成模型误差的因素，通过交叉验证误差量化特征对于模型的影响，以方便进行调整。
   非对称分类的误差分析（偏斜类问题）
   通过比较模型的查准率和召回率可以比较非对称分类的模型精度。
   
3. 数据特征分析及预处理
4. 模型建立
5. 参数调整

SVM（支持向量机）