神经网络

一、神经网络模型
（1）神经网络图像模型

（2）神经网络函数模型

二、确定更好的函数

三、确定函数

四、神经网络中的激活函数（更好的更新参数）

（1）Sigmoid函数的缺点：当神经网络的隐藏层数大于等于3层时，使用Sigmoid函数作为激活函数就会使得增加w参数后，训练过程中增加的部分会逐层递减，从而计算出的梯度非常小，从而导致w参数在更新后几乎没有变化，相当于没有进行训练。
（2）解决Sigmoid函数带来的梯度衰减问题：更换激活函数为ReLU，使得不同数据训练的w参数都是不一样的，达到非线性的效果。使用ReLU函数作为激活函数就会使得增加w参数后，训练过程中增加的部分不会逐层递减，从而计算出的梯度较大，从而使w参数在更新后产生一定的变化。

五、反向传播算法

六、神经网络中解决欠拟合与过拟合的方法
（1）欠拟合：

1>增加特征 
2>增加模型复杂度：增加神经元个数或者隐藏层层数 
3>更换激活函数（ReLU） 
4>更好的梯度下降算法（Adagrad、Adam）

（2）过拟合：

1>增加数据量
2>正则化
3>早停法：使用梯度下降法到达最低点之前停止，也就是在过拟合不是很严重的时候停止训练，根据训练集与测试集的损失函数，设置一定的分开比例{（y测试集-y训练集）/y训练集}停止训练。
4>丢弃法：随机丢弃一部分特征值，剩下的特征值用于训练。神经网络每层之间都可以进行一次丢弃法。