神经网络-DNN概念理解（二）

网络偏置的作用和意义

1、Bias称为偏置或者阈值，偏置项的大小决定了网络产生正激励的程度；
2、偏置不需要正则化，否则会导致欠拟合，偏差上升，学习能力下降

损失函数（Loss Function）

损失”就是所有样本的“误差”的总和，亦即（m为样本数）：

作用：计算神经网络每次迭代的前向计算结果与真实值的差距，从而指导下一步的训练向正确的方向进行。
损失函数越大，说明该分类器在真实标签上的分类概率越小，性能也就越差。
当损失函数接近正无穷时表明训练发散，需要调小学习速率。
具体步骤：

1、用随机值初始化前向计算公式的参数；

2、 代入样本，计算输出的预测值；
3、用损失函数计算预测值和标签值（真实值）的误差；
4、根据损失函数的导数，沿梯度最小方向将误差回传，修正前向计算公式中的各个权重值；
5、goto 2, 直到损失函数值达到一个满意的值就停止迭代。

常用损失函数：

神经网络中常用的损失函数

均方差函数，主要用于回归
交叉熵函数，主要用于分类

二者都是非负函数，极值在底部，用梯度下降法可以求解。
损失函数是在前向传播计算中得到的，同时也是反向传播的起点。

为什么不能使用均方差做为分类问题的损失函数？

回归问题通常用均方差损失函数，可以保证损失函数是个凸函数，即可以得到**最优解**。而分类问题如果用均方差的话，损失函数的表现不是凸函数，就很难得到最优解。而交叉熵函数可以保证区间内单调。
分类问题的最后一层网络，需要分类函数，Sigmoid或者Softmax，如果再接均方差函数的话，其求导结果复杂，运算量比较大。用交叉熵函数的话，可以得到比较简单的计算结果，一个简单的减法就可以得到反向误差。

matlab自动补全代码

输入函数的部分字符串时，点击Tab键，可以选择相应提示函数

传递函数就是激活函数

tanh函数和tansig函数是一样的

神经网络中的正则化（regularization）作用和方法

作用：
对损失函数加上惩罚项
神经网络在学习过程中出现了过拟合情况（图三），具体表现就是在训练集上表现好，在测试集上预测能力差，就是我们所说的泛化能力差，举一反三的能力差，就需要正则化。
图一：欠拟合 图二：正拟合 图三：过拟合

方法：
正则化就是针对特征，针对模型的一种限制算法。拟合能力越强，说明到学习的特征越多，w参数数量越多，模型越复杂。常用的正则化方法有数据增强、L2 正则化（权重衰减）、L1 正则化、Dropout、BN等方法。

过拟合 过拟合（overfitting)，也叫高方差(variance)；是指自己搭建的网络只对自己的训练数据产生的效果好，而对于其他的数据不能很好的拟合
过拟合的主要原因有：
（1）模型参数过多、表现力过强。
（2）训练集数据较少。
解决方法：
1、L2正则化（权值衰减）
权值衰减：对较大的权重进行惩罚来抑制过拟合
在原来的损失函数基础上加上权重参数的平方和：
Ein 是未包含正则化项的训练样本误差，原来的损失函数；
λ是控制正则化强度的超参数；λ越大，对大的权重实施的惩罚就越重（但也会形成欠拟合）。
正则化的目的是限制参数过多或者过大，避免模型更加复杂，要对后边的惩罚项的w权值进行限定；

寻找上限常数C，使得公式中最小化训练样本误差 Ein，但是要遵循 w 平方和小于 C 的条件。
在限定条件下，对 Ein 进行最小化的优化：

思路总结：
1、w权值在最小化Ein和限定条件C下，通过梯度下降法进行全局寻优；
2、最优解的位置：使Ein最小且满足限定C;
3、只有当 -∇Ein 与 w 的切线方向垂直时，-∇Ein在 w 的切线方向才没有分量，这时候 w 才会停止更新，到达最接近 wlin 的位置，且同时满足限定条件。
4、-∇Ein 与 w 的切线方向垂直，即 -∇Ein 与 w 的方向平行；得到平行关系：
移项：

5、梯度为 0 的时候，函数取得最优值。∇Ein 是 Ein 的梯度，λw 可以看成是 1/2λw*w 的梯度
在反向传播的时候只需要加上正则化项的导数λw。
6、将得到的式子作为惩罚项，形成新的损失函数（右边第二项就是 L2 正则化项）

2、L1正则化
公式：

惩罚项是参数+权重参数的绝对值；
在限定条件下，对 Ein 进行最小化的优化：

相比于L2的限定常数区域，L1则是一个正方形；
L1和L2解的稀疏性：
L1 正则化的解具有稀疏性。

正则化参数λ
损失函数包含训练样本误差+正则化参数；
λ具有调节作用；