神经网络训练中的技巧

一、防止过拟合

1、早期停止

2、正则化

3、Dropout

 

二、局部最低点和梯度消失的问题

梯度值过小的话每次迭代得就会很慢，甚至不变，找不到最优点

下面是一些解决方法

1、改变激活函数

如从sigmoid改为双曲正切函数或者relu

2、批次和随机梯度下降

3、学习率衰退

4、随机重新开始

5、动量

 

三、其他

神经网络回归