( A, B )---3*30*2---( 1, 0 )( 0, 1 )
让网络的输入只有3个节点,AB训练集各由6张二值化的图片组成,让A训练集中只有2个点,B全是0,收敛误差7e-4,收敛199次统计迭代次数平均值并排序。
迭代次数 | ||||
- | - | - | 2a1 | 58494.126 |
- | - | - | 58494.126 | |
- | - | - | 58494.126 | |
- | - | - | 58494.126 | |
- | - | 1 | 58494.126 | |
- | - | 1 | 58494.126 | |
58494.126 |
首先计算2a1.
得到迭代次数的平均值为58494,但是因为权重每次都是随机的所以每次的迭代次数并不完全相同,如前50组数据为
1 | 59049 | 58329 | 59217 | 60921 | 56325 |
2 | 60897 | 56961 | 59733 | 58581 | 58329 |
3 | 59421 | 57993 | 61449 | 56913 | 58677 |
4 | 57825 | 60789 | 61125 | 56793 | 56493 |
5 | 58689 | 58833 | 58701 | 57009 | 58641 |
6 | 57765 | 58053 | 57369 | 58977 | 56697 |
7 | 62001 | 55665 | 56481 | 59145 | 62457 |
8 | 57345 | 56133 | 59193 | 56925 | 59565 |
9 | 59265 | 58773 | 57573 | 57837 | 58329 |
10 | 59541 | 61917 | 54309 | 57537 | 55821 |
前50组迭代次数的平均值为58447,尽管数值的波动是由权重引起的,但可以假设每次权重都是相同的,而训练集的数值每次都有微小变化,可以同样导致迭代次数围绕平均值的波动。所以这种数值的变化可以用振动来解释。
a | 迭代次数 | b | 迭代次数 | c | 迭代次数 | ||||||
- | - | - | 58494.13 | - | - | - | 61131.44 | - | - | - | 63225.28 |
- | - | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | 1 | |||
- | - | - | - | - | 1 | - | - | - | |||
- | - | 1 | - | - | - | - | - | - | |||
- | - | 1 | - | - | 1 | - | - | 1 |
现在继续测量2a1的迭代次数,不同的是在保持相对位置关系不变的前提下,改变两个点的距离,得到a,b,c这3个结构,显然随着两点距离的增加迭代次数也在增加。如果空间无限大,并且连续,由这种运动引起的迭代次数的变化将是连续的。所以这可以理解为一种平动。
迭代次数 | ||||
- | - | - | 2a1 | 58494.126 |
- | - | - | 58494.126 | |
- | - | - | 58494.126 | |
- | - | - | 58494.126 | |
- | - | 1 | 58494.126 | |
- | - | 1 | 58494.126 | |
58494.126 | ||||
- | - | - | 2a2 | 80467.07 |
- | - | - | 80467.07 | |
- | - | - | 80467.07 | |
- | - | - | 80467.07 | |
- | 1 | - | 80467.07 | |
- | - | 1 | 80467.07 | |
80467.07 | ||||
- | - | - | 2a3 | 102740.56 |
- | - | - | 102740.56 | |
- | - | - | 102740.56 | |
- | - | - | 102740.56 | |
- | - | - | 102740.56 | |
- | 1 | 1 | 102740.56 |
再来比较第3种情况,由于外力作用,2a1两点的相对位置关系发生改变。由两点在同一列,变成2a2两点既不在同一行也不在同一列。这种运动不同于在平衡位置附近的来回振动,也不同于保持相对位置关系不变的平动,这种运动与前两种运动有本质差别,这种运动改变了两点之间的相对位置关系。而且这种运动是离散的,在一个不可旋转二维平面上,2点只有3种可能,所以这种运动可以理解为一种转动。
所以总可以从振动,平动,转动3个不同的角度来理解迭代次数,在不可旋转二维平面上的两点,如果只考虑转动和振动将主要有3个分立的状态。