在前述的实验中用mnist训练集0,1,2,3,4的第一张图片完成了10组三分类网络,并统计迭代次数和移位距离之间的关系。用间隔取点的办法实验了3*3,5*5,7*7,9*9,11*11,13*13,15*15共7个不同的尺寸。得到的数据如下
第一组
3*3 | 1*3*4 | 1*2*4 | 1*2*3 | 2*3*4 | 0*1*4 | 0*1*3 | 0*3*4 | 0*1*2 | 0*2*4 | 0*2*3 |
δ | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n |
0.01 | 25528.5 | 24336.1 | 9492.618 | 9227.121 | 24070.39 | 7252.588 | 7084.342 | 6585.166 | 6482.06 | 5495.915 |
0.001 | 63278.92 | 59472.81 | 53485.31 | 52938.41 | 57616.89 | 45735.4 | 44602.2 | 42904.66 | 41677.61 | 31104.11 |
9.00E-04 | 66122.75 | 62414.27 | 58448.47 | 57679.9 | 60375.16 | 50398.23 | 48962.69 | 46693.44 | 45485.53 | 33925.72 |
8.00E-04 | 71480.41 | 67170.33 | 64717.14 | 63989.7 | 65406.67 | 55616.3 | 54172.61 | 52060.98 | 50660.67 | 37589.39 |
7.00E-04 | 77998.76 | 73028.56 | 72108.61 | 71477.29 | 70612.89 | 62793.99 | 61263.37 | 58467.27 | 57023.22 | 41898.17 |
s3*3 | 3.498039 | 5.811765 | 5.701961 | 5.537255 | 4.14902 | 5.858824 | 5.827451 | 7.035294 | 7.082353 | 5.756863 |
将收敛误差为7e-4的迭代次数和移位距离s画成图
尽管s曲线的梯度不够丰富,但s也明显是一条增函数,用反比来解释s和n之间的关系也是合理的。
第二组
5*5 | 1*3*4 | 1*2*4 | 1*2*3 | 2*3*4 | 0*1*2 | 0*2*3 | 0*1*3 | 0*1*4 | 0*2*4 | 0*3*4 |
δ | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n |
0.01 | 4852.327 | 3971.497 | 3849.93 | 3761.673 | 3297.035 | 3195.578 | 3172.513 | 3154.935 | 3044.357 | 2946.322 |
0.001 | 29105.61 | 23912.9 | 23347.73 | 22709.72 | 21140.85 | 20470.52 | 19926.4 | 19718.28 | 19372.02 | 18622.47 |
9.00E-04 | 31721.76 | 25924.04 | 25584.63 | 24772.43 | 23191.94 | 22528.86 | 21914.49 | 21523.96 | 21264.79 | 20455.74 |
8.00E-04 | 35248.12 | 28807.72 | 28230.64 | 27538.16 | 25774.16 | 24994.17 | 24202.72 | 23810.64 | 23577.19 | 22594.5 |
7.00E-04 | 39688.76 | 32526.52 | 31809.25 | 30926.7 | 29016.18 | 28110.4 | 27321.52 | 26921.52 | 26500.23 | 25583.64 |
s5*5 | 9.992157 | 13.10588 | 12.83137 | 14.68235 | 19.04314 | 21.88235 | 18.36863 | 20.65098 | 22.92549 | 22.37647 |
由于尺寸的扩大弱化的对称性的影响,5*5的s曲线要平滑的多,明显n减小而s增加。
第三组
7*7 | 1*3*4 | 0*1*3 | 0*1*2 | 1*2*4 | 0*1*4 | 1*2*3 | 0*3*4 | 0*2*4 | 2*3*4 | 0*2*3 |
δ | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n |
0.01 | 3322.899 | 3167 | 3143.392 | 3105.899 | 3064.558 | 2958.648 | 2899.251 | 2870.181 | 2811.055 | 2757.563 |
0.001 | 21089.87 | 20283.14 | 20079.41 | 19915.55 | 19733.9 | 19119.55 | 18779.49 | 18628.15 | 18248.59 | 18011.09 |
9.00E-04 | 23155.05 | 22309.77 | 22055.96 | 21966.31 | 21729.91 | 21002.09 | 20456.96 | 20371.83 | 20007.48 | 19863.38 |
8.00E-04 | 25824.88 | 24869.8 | 24543.71 | 24286.14 | 24056.1 | 23313.12 | 22740.74 | 22703.25 | 22255.98 | 21861.84 |
7.00E-04 | 28991.13 | 27854.08 | 27523.62 | 27278.07 | 26959.44 | 26239.79 | 25628.94 | 25490.19 | 24990.54 | 24667.68 |
s7*7 | 22.2902 | 26.94902 | 29.81961 | 24.15686 | 25.78824 | 30.35294 | 29.78039 | 30.43137 | 30.72941 | 34.87843 |
n减小而s是增加的。
第四组
9*9 | 1*3*4 | 1*2*3 | 1*2*4 | 2*3*4 | 0*1*2 | 0*1*3 | 0*2*3 | 0*2*4 | 0*1*4 | 0*3*4 |
δ | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n |
0.01 | 2675.106 | 2539.864 | 2526.673 | 2513.533 | 2521.915 | 2421.905 | 2397.648 | 2400.538 | 2330.372 | 2329.07 |
0.001 | 17858.37 | 16999.56 | 17071.4 | 16846.06 | 16699.34 | 16548.66 | 16261.65 | 16182.34 | 15971.54 | 15970.8 |
9.00E-04 | 19700.4 | 18658.47 | 18738.02 | 18506.6 | 18353.31 | 18201.87 | 17895.76 | 17746.46 | 17501.54 | 17508.73 |
8.00E-04 | 21862.45 | 20760.96 | 20900.6 | 20576.08 | 20509.6 | 20217.84 | 19941.41 | 19803.96 | 19503.26 | 19452.48 |
7.00E-04 | 24688.67 | 23522.75 | 23429.41 | 23133.07 | 23022.54 | 22821.45 | 22387.06 | 22187.65 | 22107.34 | 21977.67 |
s9*9 | 36.1098 | 49.62353 | 41.16863 | 50.14118 | 52.1098 | 51.74902 | 57.21569 | 55.12941 | 47.10588 | 54.54118 |
n减小而s增加
第五组
11*11 | 0*1*4 | 0*1*3 | 1*2*3 | 1*3*4 | 0*1*2 | 2*3*4 | 1*2*4 | 0*2*3 | 0*3*4 | 0*2*4 |
δ | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n |
0.01 | 2086.653 | 2105.02 | 2074.915 | 2124.95 | 2100.759 | 2036.005 | 2078.678 | 2017.995 | 1980.116 | 1999.779 |
0.001 | 14678.66 | 14780.6 | 14729.6 | 14709.63 | 14644.57 | 14515.06 | 14590.64 | 14355.45 | 14263.75 | 14187.57 |
9.00E-04 | 16236.9 | 16261.57 | 16201.7 | 16185.53 | 16027.33 | 15975.58 | 15987.5 | 15806.29 | 15611.98 | 15686.13 |
8.00E-04 | 18089.83 | 18132.21 | 17968.03 | 17963.97 | 17926.63 | 17792.76 | 17879.34 | 17631.35 | 17401.24 | 17441.43 |
7.00E-04 | 20504.19 | 20469.01 | 20376.85 | 20359.39 | 20180.85 | 20158.58 | 20156.69 | 19930.71 | 19702.99 | 19689.2 |
s11*11 | 90.24314 | 87.59216 | 89.87451 | 74.32157 | 93.19216 | 89.82745 | 88.96471 | 100.6431 | 93.36471 | 97.64706 |
同样可以观察到n和s之间的反比关系
第六组
13*13 | 1*3*4 | 1*2*4 | 0*1*4 | 0*1*3 | 0*1*2 | 1*2*3 | 2*3*4 | 0*3*4 | 0*2*4 | 0*2*3 |
δ | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n |
0.01 | 2006.427 | 1984.819 | 1947.497 | 1938.794 | 1939.975 | 1923.412 | 1911.729 | 1849.111 | 1877.201 | 1848.739 |
0.001 | 14151.85 | 14124.55 | 14116.28 | 13974.28 | 13992.44 | 13923.85 | 13857.63 | 13582.78 | 13632.16 | 13553.69 |
9.00E-04 | 15633.13 | 15540.86 | 15572.98 | 15450.58 | 15336.95 | 15375.03 | 15288.71 | 14917.5 | 14986.11 | 14884.89 |
8.00E-04 | 17463.22 | 17301.26 | 17309.79 | 17209.39 | 17054.93 | 17063.92 | 16990.42 | 16651.06 | 16760.05 | 16691.82 |
7.00E-04 | 19748.09 | 19635.53 | 19609.79 | 19470.3 | 19427.75 | 19392.49 | 19240.36 | 18987.97 | 18964.32 | 18876.56 |
s13*13 | 94.28235 | 104.7922 | 113.8824 | 117.3804 | 120.651 | 116.4706 | 115.0039 | 123.4196 | 123.8118 | 133.8824 |
13*13的s曲线非常平滑,n与s的反比关系非常明显
第七组
15*15 | 1*2*3 | 0*1*2 | 0*2*3 | 0*2*4 | 1*2*4 | 2*3*4 | 0*1*4 | 0*3*4 | 0*1*3 | 1*3*4 |
δ | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n |
0.01 | 2100.879 | 2020.663 | 1988.266 | 1990.347 | 1959.749 | 1964.513 | 1806.965 | 1803.508 | 1778.141 | 1757.03 |
0.001 | 14604.79 | 14516.06 | 14299.3 | 14332.46 | 14182.17 | 14162.15 | 13370.29 | 13356.84 | 13191.83 | 13021.52 |
9.00E-04 | 16163.44 | 15959.09 | 15860.1 | 15730.95 | 15650.05 | 15603.02 | 14687.98 | 14662.88 | 14608.69 | 14392.83 |
8.00E-04 | 17967.66 | 17817.04 | 17683.23 | 17555.33 | 17424.39 | 17368.5 | 16346.61 | 16352.7 | 16272.56 | 16024.08 |
7.00E-04 | 20210.69 | 20140.15 | 19915.37 | 19795.33 | 19791.92 | 19717.7 | 18671.6 | 18648.29 | 18348.53 | 18162.27 |
s | 105.4118 | 115.9216 | 128.5569 | 119.1686 | 111.9137 | 117.3569 | 144.0392 | 149.4039 | 140.698 | 130 |
同样可以观察到n和s的反比关系。
因此这7组数据,尽管有的s曲线不够平滑,但用n和s之间的反比关系来理解这7组数据都是直观而实用的。
0*1*2 | 0*1*3 | 0*1*4 | 0*2*3 | 0*2*4 | 0*3*4 | 1*2*3 | 1*2*4 | 1*3*4 | 2*3*4 | |
s3*3 | 7.035294 | 5.858824 | 4.14902 | 5.7568627 | 7.0823529 | 5.827451 | 5.7019608 | 5.8117647 | 3.4980392 | 5.5372549 |
s5*5 | 19.04314 | 18.36863 | 20.65098 | 21.882353 | 22.92549 | 22.376471 | 12.831373 | 13.105882 | 9.9921569 | 14.682353 |
s7*7 | 29.81961 | 26.94902 | 25.78824 | 34.878431 | 30.431373 | 29.780392 | 30.352941 | 24.156863 | 22.290196 | 30.729412 |
s9*9 | 52.1098 | 51.74902 | 47.10588 | 57.215686 | 55.129412 | 54.541176 | 49.623529 | 41.168627 | 36.109804 | 50.141176 |
s11*11 | 93.19216 | 87.59216 | 90.24314 | 100.64314 | 97.647059 | 93.364706 | 89.87451 | 88.964706 | 74.321569 | 89.827451 |
s13*13 | 120.651 | 117.3804 | 113.8824 | 133.88235 | 123.81176 | 123.41961 | 116.47059 | 104.79216 | 94.282353 | 115.00392 |
s15*15 | 115.9216 | 140.698 | 144.0392 | 128.55686 | 119.16863 | 149.40392 | 105.41176 | 111.91373 | 130 | 117.35686 |
比较移位距离的变化
移位距离s的变化非常规则,随着尺寸的增加而增加
再比较各个尺寸的迭代次数的大小顺序
3*3 | 1*3*4 | 1*2*4 | 1*2*3 | 2*3*4 | 0*1*4 | 0*1*3 | 0*3*4 | 0*1*2 | 0*2*4 | 0*2*3 |
5*5 | 1*3*4 | 1*2*4 | 1*2*3 | 2*3*4 | 0*1*2 | 0*2*3 | 0*1*3 | 0*1*4 | 0*2*4 | 0*3*4 |
7*7 | 1*3*4 | 0*1*3 | 0*1*2 | 1*2*4 | 0*1*4 | 1*2*3 | 0*3*4 | 0*2*4 | 2*3*4 | 0*2*3 |
9*9 | 1*3*4 | 1*2*3 | 1*2*4 | 2*3*4 | 0*1*2 | 0*1*3 | 0*2*3 | 0*2*4 | 0*1*4 | 0*3*4 |
11*11 | 0*1*4 | 0*1*3 | 1*2*3 | 1*3*4 | 0*1*2 | 2*3*4 | 1*2*4 | 0*2*3 | 0*3*4 | 0*2*4 |
13*13 | 1*3*4 | 1*2*4 | 0*1*4 | 0*1*3 | 0*1*2 | 1*2*3 | 2*3*4 | 0*3*4 | 0*2*4 | 0*2*3 |
15*15 | 1*2*3 | 0*1*2 | 0*2*3 | 0*2*4 | 1*2*4 | 2*3*4 | 0*1*4 | 0*3*4 | 0*1*3 | 1*3*4 |
如果n和s之间的反比关系是严格的,n的顺序也应该是一致的,但有少部分数据分布比较分散如0*1*4,或许是由于对于单张图片对称性导致的结构耦合效应弱化了n和s之间的线性关系。
比较迭代次数的变化
0*1*2 | 0*1*3 | 0*1*4 | 0*2*3 | 0*2*4 | 0*3*4 | 1*2*3 | 1*2*4 | 1*3*4 | 2*3*4 | ||
3*3 | 7.00E-04 | 58467.27 | 62793.99 | 70612.89 | 41898.171 | 57023.216 | 61263.367 | 72108.608 | 73028.558 | 77998.759 | 71477.286 |
5*5 | 7.00E-04 | 29016.18 | 27321.52 | 26921.52 | 28110.397 | 26500.226 | 25583.643 | 31809.251 | 32526.523 | 39688.764 | 30926.698 |
7*7 | 7.00E-04 | 27523.62 | 27854.08 | 26959.44 | 24667.683 | 25490.191 | 25628.94 | 26239.789 | 27278.07 | 28991.131 | 24990.543 |
9*9 | 7.00E-04 | 23022.54 | 22821.45 | 22107.34 | 22387.06 | 22187.648 | 21977.673 | 23522.754 | 23429.407 | 24688.673 | 23133.065 |
11*11 | 7.00E-04 | 20180.85 | 20469.01 | 20504.19 | 19930.709 | 19689.196 | 19702.99 | 20376.849 | 20156.688 | 20359.392 | 20158.583 |
13*13 | 7.00E-04 | 19427.75 | 19470.3 | 19609.79 | 18876.558 | 18964.322 | 18987.97 | 19392.492 | 19635.528 | 19748.085 | 19240.362 |
15*15 | 7.00E-04 | 20140.15 | 18348.53 | 18671.6 | 19915.367 | 19795.327 | 18648.286 | 20210.688 | 19791.925 | 18162.266 | 19717.704 |
图片尺寸扩大,迭代次数是减小的。把所有的迭代次数和移位距离画到一起
3*3 用神经网络模拟3个距离为0的粒子
5*5 将神经网络粒子化的内在合理性
7*7 近似对称性对迭代次数的影响
9*9 决定迭代次数的两种效应
11*11 验算迭代次数和移位距离之间的反比关系
13*13用移位距离去比较迭代次数的大小
15*15关于迭代次数的一个反比关系