用神经网络分类8123*11和8123*99,在收敛误差一致的情况下他们的迭代次数之间有什么关系?哪个迭代次数更大些?
移位距离和假设
(A,B)---m*n*k---(1,0)(0,1)
用神经网络分类A和B,把参与分类的A和B中的数字看作是组成A和B的粒子,分类的过程就是让A和B中的粒子互相交换位置,寻找最短移位路径的过程。而熵H与最短移位距离和S成正比,迭代次数n与熵H成反比。
移位规则汇总
移位距离就是等位点数值差的绝对值的和S=Σ|a-b|
如对一组3*3的矩阵
S=s0+s1+,…,+s8=|a0-b0|+|a1-b1|+,…,+|a8-b8|
按照移位假设8123*11和8123*99在收敛误差一致的情况下,迭代次数应该是相同的。因为他们的移位距离相同
8123*11的移位距离和是
S=|0.8-1|+|1-1|+|0.1-0.1|+
|1-1|+|1-1|+|1-1|+
|0.1-1|+|0.2-1|+|0.3-1|=4-0.8-0.6=2.6
而8123*99的移位距离和是
S=|0.8-1|+|1-1|+|0.9-0.9|+
|1-1|+|1-1|+|1-1|+
|0.1-1|+|0.2-1|+|0.3-1|=4-0.8-0.6=2.6
他们的移位距离和均为2.6.因此迭代次数应该相同。
这次实验就验证这一猜测
分类8123*11,8123*22,8123*33,8123*44.他们的移位距离是相同的都是2.6.得到的迭代次数为
8123*11 | 8123*22 | 8123*33 | 8123*44 | |
δ | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n |
5.00E-04 | 28603.35 | 28545.91 | 28757.77 | 28344.9 |
4.00E-04 | 34625.89 | 34729.52 | 34516.93 | 34997.65 |
3.00E-04 | 45374.34 | 45524.27 | 45212.81 | 45154.62 |
2.00E-04 | 65231.52 | 66036.44 | 65574.76 | 65267.41 |
1.00E-04 | 124208.3 | 124424.7 | 125015 | 124152.1 |
s | 2.6 | 2.6 | 2.6 | 2.6 |
画成图可以看到这4条线很一致。
继续第二组
分类8123*55,8123*66,8123*77,8123*88,8123*99.他们的移位距离也都是2.6.得到的迭代次数为
8123*11 | 8123*22 | 8123*33 | 8123*44 | 8123*55 | 8123*66 | 8123*77 | 8123*88 | 8123*99 | |
δ | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n |
5.00E-04 | 28603.35 | 28545.91 | 28757.77 | 28344.9 | 28558.9 | 28141.44 | 28592.52 | 28432.22 | 28194.89 |
4.00E-04 | 34625.89 | 34729.52 | 34516.93 | 34997.65 | 34736.83 | 34734.26 | 34577.22 | 34549.79 | 34867.53 |
3.00E-04 | 45374.34 | 45524.27 | 45212.81 | 45154.62 | 44891.26 | 44963.22 | 44687.14 | 44947.81 | 44779.31 |
2.00E-04 | 65231.52 | 66036.44 | 65574.76 | 65267.41 | 65147.53 | 64966.61 | 65532.85 | 65722.28 | 66023.59 |
1.00E-04 | 124208.3 | 124424.7 | 125015 | 124152.1 | 124749.6 | 124486.4 | 123958.4 | 123955.7 | 123733.3 |
s | 2.6 | 2.6 | 2.6 | 2.6 | 2.6 | 2.6 | 2.6 | 2.6 | 2.6 |
选择收敛误差为3e-4,2e-4,1e-4的3组值横向比较,曲线很平直。当收敛误差为1e-4的时候,最大值125015和最小值123733之间仅相差约1%。因此这一实验验证了假设,认为8123*11和8123*99的迭代次数是相同的是一种方便而实用的观点。
并且这一实验也验证了决定迭代次数的不是图片像素的数值,而是等位点像素的差值。如果等位点的像素值相同他们对迭代次数没有贡献。因为神经网络的训练过程就是在寻找两个形态之间相互变换的方法。如果等位点的数值相同就无需变换,因此对迭代次数没有影响。