机器学习总结（七）：基本神经网络、BP算法、常用激活函数对比

1.   神经网络

（1）为什么要用神经网络？

对于非线性分类问题，如果用多元线性回归进行分类，需要构造许多高次项，导致特征特多学习参数过多，从而复杂度太高。

（2）常用的激活函数及其优缺点

阶跃函数sgn(x)（理想，但不连续，不光滑）;

Sigmoid函数（下图左）：

优点：能够把输入的连续实值压缩到0到1之间；

缺点：（1）容易饱和，当输入非常大或非常小的时候，神经元的梯度就接近0了，这使得在反向传播算法中反向传播接近于0的梯度，导致最终权重基本没什么更新；（2）Sigmoid的输出不是0均值的，这会导致后层的神经元的输入是非0均值的信号，这会对梯度产生影响，假设后层神经元的输入都为正(e.g. x>0elementwise in f=wTx+b),那么对w求局部梯度则都为正，这样在反向传播的过程中w要么都往正方向更新，要么都往负方向更新，导致有一种捆绑的效果，使得收敛缓慢。  

解决方法：注意参数的初始值设置来避免饱和情况。

Tanh函数（下图右）：

 优点：0均值，能够压缩数据到-1到1之间；

 缺点：同Sigmoid缺点第二个，梯度饱和；

ReLU函数</