LeNet试验（二）权重参数随训练的变化

  神经网络训练的过程就是权重参数寻优的过程，我们想知道随着训练的进行，参数到底发生怎样的变化。本文以LeNet为例，进行一些试验观察。

  LeNet代码见上一小节，这里只给出conv2层的权重，其形状为 16×6×5×5，其他层权重的变化情况类似。
不同训练轮数conv2层权重的分布直方图：

conv2权重的均值、标准差、随机抽取的10个参数以及梯度的1范数随训练500轮的变化情况：

  可以看出：
（1）初始分布是平均分布，后面逐渐过渡为类似正态分布（但左边缓一些，右边陡一些）。
（2）随着训练的继续，模型的准确率早已稳定（这点从上一小节可以看出），但并不意味着权重也趋于稳定，实际上随着训练进行，权重的方差持续变大，表现为值小的参数越来越小，值大的参数越来越大。
（3）梯度总体趋势是逐渐变小，但并不是平缓变化的，有时梯度会突然出现很大的值，但这些巨大梯度的出现也并不对应网络损失或预测精度的突然改变。
上述情况是对参数随训练过程变化的一个深入解剖，为什么会这样我也不清楚，先把现象放在这里。