神经网络参数变化规律

神经网络参数变化规律
目的：探究神经网络中参数的变化情况，（1）最初步的想法是探究每一轮和下一轮相比参数的变化情况，如果不变的个数很多，是否可以在把不变的参数写入内存呢。（2）探究了一个例子，在一个大数组有百分之八十的0其余是正常数，查看如果是0就不写回内存时间是多少，对比查看全部写回去的时间情况。结果发现并不理想只有几毫秒的差别。（3）探究了参数的分布情况大概在那一个区间里。
（1）背景：通过训练网络20个epoch，探究每一轮的参数和下一轮的参数进行对比，查看其中的参数不变化个数。
一．探究汽车分类图像在AlexNet和LeNet上的表现
在同样的学习率下，探究两个网络的参数变化最少的个数发生的轮数，以及看参数变化最少的个数是否大致在同一个范围。
在学习率为0.001时，在AlexNet参数在第八轮到第九轮的训练过程中参数不变化个数最多，个数为九万零一百零五个。

在学习率为0.001时，在LeNet参数在第八轮到第九轮的训练过程中参数不变化个数最多，个数为四千九百八十四个。

可以从上图看出，不同的网络参数变化的个数不相同，甚至差别很大，但是最多点发生在同样的轮数下。（这个是否是偶然规律并不能确定）
二．探究汽车分类图像在LeNet上不同学习率的表现

在学习率为0.001时，参数在第八轮到第九轮的过程中参数变化最少

在学习率为0.01时，参数在第九轮到第十轮的过程中参数变化最少

从图像上可以看出，在汽车分类任务中最多没有变化的参数个数是和学习率相关，因为学习率的变化使得参数发生变化最少的轮数有变化。

三．探究汽车分类图和手写数字体识别图像在AlexNet上的表现

从图像上可以看出，在和上面的汽车分类任务中，参数的走势相当不一样，也就证明了不同的实验任务都有不同的变化趋势，没有规律。
而且在试验中我们都是看的第一层的全连接的情况，在第二层及第三层的全连接情况是相似的。
（3）探究参数的范围大概在0.01-0.05，但是这个只是根据一个分类任务而定的。
探究第一、二、三层的全连接层中，第一、五、十、二十次的的参数值的大致范围
第一次参数的范围：

从上图可以看出，参数的大部分的范围在0.1到0.5之间，之后在0.005-0.1之间

继续探究了其他两层的全连接层的参数范围，结果和上面的信息相似。