单张非二值mnist三分类实验数据汇总

在前述的实验中用mnist训练集0，1，2，3，4的第一张图片完成了10组三分类网络，并统计迭代次数和移位距离之间的关系。用间隔取点的办法实验了3*3，5*5，7*7，9*9，11*11，13*13，15*15共7个不同的尺寸。得到的数据如下

第一组

3*3	1*3*4	1*2*4	1*2*3	2*3*4	0*1*4	0*1*3	0*3*4	0*1*2	0*2*4	0*2*3
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	25528.5	24336.1	9492.618	9227.121	24070.39	7252.588	7084.342	6585.166	6482.06	5495.915
0.001	63278.92	59472.81	53485.31	52938.41	57616.89	45735.4	44602.2	42904.66	41677.61	31104.11
9.00E-04	66122.75	62414.27	58448.47	57679.9	60375.16	50398.23	48962.69	46693.44	45485.53	33925.72
8.00E-04	71480.41	67170.33	64717.14	63989.7	65406.67	55616.3	54172.61	52060.98	50660.67	37589.39
7.00E-04	77998.76	73028.56	72108.61	71477.29	70612.89	62793.99	61263.37	58467.27	57023.22	41898.17
s3*3	3.498039	5.811765	5.701961	5.537255	4.14902	5.858824	5.827451	7.035294	7.082353	5.756863

将收敛误差为7e-4的迭代次数和移位距离s画成图

尽管s曲线的梯度不够丰富，但s也明显是一条增函数，用反比来解释s和n之间的关系也是合理的。

第二组

5*5	1*3*4	1*2*4	1*2*3	2*3*4	0*1*2	0*2*3	0*1*3	0*1*4	0*2*4	0*3*4
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	4852.327	3971.497	3849.93	3761.673	3297.035	3195.578	3172.513	3154.935	3044.357	2946.322
0.001	29105.61	23912.9	23347.73	22709.72	21140.85	20470.52	19926.4	19718.28	19372.02	18622.47
9.00E-04	31721.76	25924.04	25584.63	24772.43	23191.94	22528.86	21914.49	21523.96	21264.79	20455.74
8.00E-04	35248.12	28807.72	28230.64	27538.16	25774.16	24994.17	24202.72	23810.64	23577.19	22594.5
7.00E-04	39688.76	32526.52	31809.25	30926.7	29016.18	28110.4	27321.52	26921.52	26500.23	25583.64
s5*5	9.992157	13.10588	12.83137	14.68235	19.04314	21.88235	18.36863	20.65098	22.92549	22.37647

由于尺寸的扩大弱化的对称性的影响，5*5的s曲线要平滑的多，明显n减小而s增加。

第三组

7*7	1*3*4	0*1*3	0*1*2	1*2*4	0*1*4	1*2*3	0*3*4	0*2*4	2*3*4	0*2*3
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	3322.899	3167	3143.392	3105.899	3064.558	2958.648	2899.251	2870.181	2811.055	2757.563
0.001	21089.87	20283.14	20079.41	19915.55	19733.9	19119.55	18779.49	18628.15	18248.59	18011.09
9.00E-04	23155.05	22309.77	22055.96	21966.31	21729.91	21002.09	20456.96	20371.83	20007.48	19863.38
8.00E-04	25824.88	24869.8	24543.71	24286.14	24056.1	23313.12	22740.74	22703.25	22255.98	21861.84
7.00E-04	28991.13	27854.08	27523.62	27278.07	26959.44	26239.79	25628.94	25490.19	24990.54	24667.68
s7*7	22.2902	26.94902	29.81961	24.15686	25.78824	30.35294	29.78039	30.43137	30.72941	34.87843

   n减小而s是增加的。

第四组

9*9	1*3*4	1*2*3	1*2*4	2*3*4	0*1*2	0*1*3	0*2*3	0*2*4	0*1*4	0*3*4
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	2675.106	2539.864	2526.673	2513.533	2521.915	2421.905	2397.648	2400.538	2330.372	2329.07
0.001	17858.37	16999.56	17071.4	16846.06	16699.34	16548.66	16261.65	16182.34	15971.54	15970.8
9.00E-04	19700.4	18658.47	18738.02	18506.6	18353.31	18201.87	17895.76	17746.46	17501.54	17508.73
8.00E-04	21862.45	20760.96	20900.6	20576.08	20509.6	20217.84	19941.41	19803.96	19503.26	19452.48
7.00E-04	24688.67	23522.75	23429.41	23133.07	23022.54	22821.45	22387.06	22187.65	22107.34	21977.67
s9*9	36.1098	49.62353	41.16863	50.14118	52.1098	51.74902	57.21569	55.12941	47.10588	54.54118

n减小而s增加

第五组

11*11	0*1*4	0*1*3	1*2*3	1*3*4	0*1*2	2*3*4	1*2*4	0*2*3	0*3*4	0*2*4
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	2086.653	2105.02	2074.915	2124.95	2100.759	2036.005	2078.678	2017.995	1980.116	1999.779
0.001	14678.66	14780.6	14729.6	14709.63	14644.57	14515.06	14590.64	14355.45	14263.75	14187.57
9.00E-04	16236.9	16261.57	16201.7	16185.53	16027.33	15975.58	15987.5	15806.29	15611.98	15686.13
8.00E-04	18089.83	18132.21	17968.03	17963.97	17926.63	17792.76	17879.34	17631.35	17401.24	17441.43
7.00E-04	20504.19	20469.01	20376.85	20359.39	20180.85	20158.58	20156.69	19930.71	19702.99	19689.2
s11*11	90.24314	87.59216	89.87451	74.32157	93.19216	89.82745	88.96471	100.6431	93.36471	97.64706

同样可以观察到n和s之间的反比关系

第六组

13*13	1*3*4	1*2*4	0*1*4	0*1*3	0*1*2	1*2*3	2*3*4	0*3*4	0*2*4	0*2*3
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	2006.427	1984.819	1947.497	1938.794	1939.975	1923.412	1911.729	1849.111	1877.201	1848.739
0.001	14151.85	14124.55	14116.28	13974.28	13992.44	13923.85	13857.63	13582.78	13632.16	13553.69
9.00E-04	15633.13	15540.86	15572.98	15450.58	15336.95	15375.03	15288.71	14917.5	14986.11	14884.89
8.00E-04	17463.22	17301.26	17309.79	17209.39	17054.93	17063.92	16990.42	16651.06	16760.05	16691.82
7.00E-04	19748.09	19635.53	19609.79	19470.3	19427.75	19392.49	19240.36	18987.97	18964.32	18876.56
s13*13	94.28235	104.7922	113.8824	117.3804	120.651	116.4706	115.0039	123.4196	123.8118	133.8824

13*13的s曲线非常平滑，n与s的反比关系非常明显

第七组

15*15	1*2*3	0*1*2	0*2*3	0*2*4	1*2*4	2*3*4	0*1*4	0*3*4	0*1*3	1*3*4
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	2100.879	2020.663	1988.266	1990.347	1959.749	1964.513	1806.965	1803.508	1778.141	1757.03
0.001	14604.79	14516.06	14299.3	14332.46	14182.17	14162.15	13370.29	13356.84	13191.83	13021.52
9.00E-04	16163.44	15959.09	15860.1	15730.95	15650.05	15603.02	14687.98	14662.88	14608.69	14392.83
8.00E-04	17967.66	17817.04	17683.23	17555.33	17424.39	17368.5	16346.61	16352.7	16272.56	16024.08
7.00E-04	20210.69	20140.15	19915.37	19795.33	19791.92	19717.7	18671.6	18648.29	18348.53	18162.27
s	105.4118	115.9216	128.5569	119.1686	111.9137	117.3569	144.0392	149.4039	140.698	130

同样可以观察到n和s的反比关系。

因此这7组数据，尽管有的s曲线不够平滑，但用n和s之间的反比关系来理解这7组数据都是直观而实用的。

	0*1*2	0*1*3	0*1*4	0*2*3	0*2*4	0*3*4	1*2*3	1*2*4	1*3*4	2*3*4
s3*3	7.035294	5.858824	4.14902	5.7568627	7.0823529	5.827451	5.7019608	5.8117647	3.4980392	5.5372549
s5*5	19.04314	18.36863	20.65098	21.882353	22.92549	22.376471	12.831373	13.105882	9.9921569	14.682353
s7*7	29.81961	26.94902	25.78824	34.878431	30.431373	29.780392	30.352941	24.156863	22.290196	30.729412
s9*9	52.1098	51.74902	47.10588	57.215686	55.129412	54.541176	49.623529	41.168627	36.109804	50.141176
s11*11	93.19216	87.59216	90.24314	100.64314	97.647059	93.364706	89.87451	88.964706	74.321569	89.827451
s13*13	120.651	117.3804	113.8824	133.88235	123.81176	123.41961	116.47059	104.79216	94.282353	115.00392
s15*15	115.9216	140.698	144.0392	128.55686	119.16863	149.40392	105.41176	111.91373	130	117.35686

比较移位距离的变化

移位距离s的变化非常规则，随着尺寸的增加而增加

再比较各个尺寸的迭代次数的大小顺序

3*3	1*3*4	1*2*4	1*2*3	2*3*4	0*1*4	0*1*3	0*3*4	0*1*2	0*2*4	0*2*3
5*5	1*3*4	1*2*4	1*2*3	2*3*4	0*1*2	0*2*3	0*1*3	0*1*4	0*2*4	0*3*4
7*7	1*3*4	0*1*3	0*1*2	1*2*4	0*1*4	1*2*3	0*3*4	0*2*4	2*3*4	0*2*3
9*9	1*3*4	1*2*3	1*2*4	2*3*4	0*1*2	0*1*3	0*2*3	0*2*4	0*1*4	0*3*4
11*11	0*1*4	0*1*3	1*2*3	1*3*4	0*1*2	2*3*4	1*2*4	0*2*3	0*3*4	0*2*4
13*13	1*3*4	1*2*4	0*1*4	0*1*3	0*1*2	1*2*3	2*3*4	0*3*4	0*2*4	0*2*3
15*15	1*2*3	0*1*2	0*2*3	0*2*4	1*2*4	2*3*4	0*1*4	0*3*4	0*1*3	1*3*4

如果n和s之间的反比关系是严格的，n的顺序也应该是一致的，但有少部分数据分布比较分散如0*1*4，或许是由于对于单张图片对称性导致的结构耦合效应弱化了n和s之间的线性关系。

比较迭代次数的变化

		0*1*2	0*1*3	0*1*4	0*2*3	0*2*4	0*3*4	1*2*3	1*2*4	1*3*4	2*3*4
3*3	7.00E-04	58467.27	62793.99	70612.89	41898.171	57023.216	61263.367	72108.608	73028.558	77998.759	71477.286
5*5	7.00E-04	29016.18	27321.52	26921.52	28110.397	26500.226	25583.643	31809.251	32526.523	39688.764	30926.698
7*7	7.00E-04	27523.62	27854.08	26959.44	24667.683	25490.191	25628.94	26239.789	27278.07	28991.131	24990.543
9*9	7.00E-04	23022.54	22821.45	22107.34	22387.06	22187.648	21977.673	23522.754	23429.407	24688.673	23133.065
11*11	7.00E-04	20180.85	20469.01	20504.19	19930.709	19689.196	19702.99	20376.849	20156.688	20359.392	20158.583
13*13	7.00E-04	19427.75	19470.3	19609.79	18876.558	18964.322	18987.97	19392.492	19635.528	19748.085	19240.362
15*15	7.00E-04	20140.15	18348.53	18671.6	19915.367	19795.327	18648.286	20210.688	19791.925	18162.266	19717.704

图片尺寸扩大，迭代次数是减小的。把所有的迭代次数和移位距离画到一起

3*3 用神经网络模拟3个距离为0的粒子

5*5 将神经网络粒子化的内在合理性

7*7 近似对称性对迭代次数的影响

9*9 决定迭代次数的两种效应

11*11 验算迭代次数和移位距离之间的反比关系

13*13用移位距离去比较迭代次数的大小

15*15关于迭代次数的一个反比关系