神经网络不收敛的常见问题

1.没有对数据进行归一化

⚫ 问题描述：

在使用神经网络之前，对数据进行归一化十分重要。这一步通常众所 周知，因此它很少被提及，初学者很容易在这方面犯错。一旦没有谨 慎和正确的对数据进行归一化，神经网络很可能无法运行（收敛）。

⚫ 原理：

这是由于不同评价指标往往具有不同的量纲和量纲单位，这样的情况

会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行

数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据 标准化处理后，各指标处于同一数量级，适合进行综合对比评价。

此外，大部分神经网络流程都假设输入输出是在0附近的分布，从权

值初始化到激活函数、从训练到训练网络的优化算法。

⚫ 解决办法：

通常归一化的是指将数据减去均值并除去方差，这是对每个输出和输 入数据都要处理的。也可以对部分数据进行归一化处理。

2. 忘记检查输入和输出

问题描述：

假设你已经训练了多个周期，同时损失函数相比最初也有了明显的变 小，但往往这并不意味着训练工作的完成。在你的代码中，在数据预 处理、训练代码等都有可能出现错误，而损失函数的下降并不意味着 网络学习到了有用的东西

⚫ 原理：

这是由于与传统的编程不同，机器学习对于某些错误不能够及时有效

的反馈错误信息，以便我们回过头来对代码BUG进行检查。

⚫ 解决办法：

通常，你需要找到一些可视化结果的工具。例如动画和图片，这步显

得较为轻松。但如果是其他格式的数据，你需要找到检查结果的方法

&