机器学习25:可能导致训练网络不收敛的几种原因

机器学习25:可能导致训练网络不收敛的几种原因

1.可能导致训练网络不收敛的几个原因：

        （1）没有做数据归一化；

        （2）没有检查过预处理结果和最终的训练测试结果；

        （3）没有做数据预处理；

        （4）没有使用正则化；

        （5）Batch Size设的太大；

        （6）学习率设的不合适；

        （7）最后一层的激活函数错误；

        （8）网络存在坏梯度，比如当Relu对负值的梯度为0，反向传播时，梯度为0表示不传播；

        （9）参数初始化错误；

        （10）网络设定不合理，网络太浅或者太深；

        （11）隐藏层神经元数量错误；

        （12）数据集标签的设置有错误。

2.详解链接：

          http://theorangeduck.com/page/neural-network-not-working