mnist 0,1,2,3,4二值化三分类迭代次数分布规律实验数据总结

( A, B, C )---m*30*3---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 ) 做一个三分类网络，让A，B，C分别是mnist训练集0，1，2，3，4的第一张图片。用间隔取点的办法把图片化成3*3，5*5，7*7，9*9，11*11，13*13，15*15.这三张图片不断循环往复直到收敛。统计迭代次数和训练集的关系。

3*3尺寸的实验数据为

3*3	0*2*4	0*1*4	1*3*4	1*2*4	0*3*4	2*3*4	0*1*2	0*1*3	1*2*3	0*2*3
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	5835.889	5147.447	4954.121	4482.628	4507.829	4500.261	4741.809	3996.03	3885.93	3969.467
0.001	38007.9	34882.14	34813.08	32059.09	32033.33	32002.26	24563.05	23733.06	23524.65	23349.23
9.00E-04	42332.02	38312.48	38005.81	35272.75	35124.61	35031.94	26931.51	25899.44	25831.83	25481.64
8.00E-04	46775.65	42620.83	42834.21	39409.18	39359.9	39345.52	29659.29	28686.73	28645.03	28144.42
7.00E-04	53032.97	48307.49	47638.36	44585.37	44421.02	44187.41	33226.74	32240.04	32127.16	31547.46
S3	16	14	10	16	14	14	10	12	14	12

将移位距离s和收敛误差为7e-4的迭代次数画成图

由于尺寸过小，由对称导致的耦合效应占主导，s和n之间没有明显的反比关系。

5*5的数据

5*5	1*3*4	0*1*2	2*3*4	1*2*3	1*2*4	0*1*3	0*3*4	0*1*4	0*2*4	0*2*3
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	4260.628	3312.291	2774.643	2775.99	2760.206	2566.196	2553.955	2541.397	2674.447	2622.256
0.001	25255.53	21079.41	18492.91	18572.05	18302.41	17449.95	17228.34	17201.78	17098.44	16827.74
9.00E-04	27773.84	23040.85	20396.57	20316.63	20202.28	19041.26	19090.8	18997.33	18796.66	18356.4
8.00E-04	30679.68	25692.53	22619.76	22694.95	22323.22	21355.68	21271.51	20972.85	20812.93	20430.93
7.00E-04	34484.12	28879.03	25534.59	25476.54	25250.71	23980.69	23932.92	23692.29	23432.92	22965.5
S5	8	28	24	24	22	28	28	26	28	30

由于尺寸的扩大，使得等位点数值差导致的线性效应占主导，s和n之间的反比关系清晰了很多。

7*7的数据

7*7	1*3*4	2*3*4	0*3*4	1*2*4	0*1*4	0*1*3	1*2*3	0*2*4	0*2*3	0*1*2
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	2638.628	2294.553	2324.357	2330.754	2250.307	2281.201	2271.558	2269.161	2159.492	2074.583
0.001	17619.35	16471.5	16381.35	16353.96	15787.44	15648.42	15436.29	14977.7	14629.42	14438.6
9.00E-04	19384.19	18149.38	18063.63	17960.88	17566.47	17231.85	16951.84	16513.67	16036.18	15874.51
8.00E-04	21470.73	20216.42	20053.16	20031.42	19503.14	19230.8	18884.37	18442.17	17845.84	17605.17
7.00E-04	24371.9	22789.79	22666.87	22606.5	21940.64	21616.02	21265.56	20786.95	20166.11	19930.4
S7	34	56	46	56	52	56	62	58	60	60

7*7的数据s和n之间的反比关系清晰。

9*9的数据

9*9	1*3*4	2*3*4	1*2*4	0*3*4	0*1*3	0*1*4	1*2*3	0*1*2	0*2*3	0*2*4
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	2248.47739	2058.874	2041.126	1981.261	2011.693	1961.472	2005.533	1861.744	1774.553	1772.955
0.001	15564.5025	14731.81	14661.05	14410.76	14226.95	14246.09	14162.56	13256	12471.54	12289.27
9.00E-04	17165.2714	16207.58	16110.55	15882.11	15649.56	15699.46	15554.51	14571.18	13759.03	13521.05
8.00E-04	19037.7538	18052.38	17955.89	17717.5	17446.29	17460.94	17324.29	16156.77	15339.65	15107.41
7.00E-04	21613.0201	20439.4	20321.21	20086.51	19849.48	19833.61	19712.56	18359.36	17300.2	17049.99
S9	52	90	82	88	82	82	86	70	82	90

9*9的数据s和n之间的反比关系清晰。

11*11的数据

11*11	1*3*4	0*3*4	2*3*4	0*1*4	0*1*3	1*2*4	1*2*3	0*1*2	0*2*4	0*2*3
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	1879.935	1789.307	1725.171	1740.226	1738.045	1722.628	1692.377	1565.814	1560.085	1547.613
0.001	13735.02	13405.12	13303.93	12824.57	12944.04	12867.81	12826.67	11809.94	11508.12	11531.02
9.00E-04	15173.34	14714.66	14550.28	14240.37	14307.66	14121.82	14120.54	12998.81	12676.15	12737.23
8.00E-04	16891.76	16475.77	16220.5	15887.85	15907.33	15764.27	15755.62	14557.29	14163.69	14278.24
7.00E-04	19181.42	18591.92	18409.24	18000.18	17982.46	17889.45	17850.13	16571.86	16176.46	16147.87
S11	96	146	166	156	152	168	168	158	170	168

s和n之间的反比关系清晰.

13*13的数据

13*13	1*3*4	2*3*4	0*3*4	0*1*4	0*1*3	1*2*4	1*2*3	0*1*2	0*2*3	0*2*4
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	1763.181	1626.573	1672.452	1635.92	1596.704	1620.407	1563.894	1444.291	1410.03	1465.417
0.001	13065.2	12674.94	12747.73	12386.22	12349.02	12282.2	12270.04	11338.48	10985.2	11015.5
9.00E-04	14352.45	14004.63	14062.83	13629.47	13613.36	13609.56	13530.32	12458.17	12176.36	12225.96
8.00E-04	16141.21	15611.1	15749.91	15264.98	15228.45	15207.63	15053.71	14044.73	13530.4	13654.68
7.00E-04	18194.4	17760.64	17743.58	17333.38	17293.87	17204.64	17058.81	15946.1	15491.27	15399.54
S	130	218	198	206	204	218	220	204	220	216

13*13的数据s和n之间的反比关系清晰。

15*15的数据

15*15	1*3*4	2*3*4	0*3*4	1*2*3	0*1*2	0*1*3	1*2*4	0*1*4	0*2*3	0*2*4
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.01	1635.709	1559.005	1559.472	1498.528	1472.487	1503.749	1509.628	1514.296	1388.106	1374.176
0.001	12360.53	12176.27	12106.03	11847.89	11666.9	11758.25	11743.09	11794.42	10984.1	10765.44
9.00E-04	13668.21	13415.54	13401.17	12945.16	12919.13	13061.88	13014.62	12963.23	12229.41	11920.46
8.00E-04	15226.95	14968.57	15042.16	14589.09	14379.7	14590.07	14449.87	14456.76	13537.45	13331.05
7.00E-04	17419.22	17081.05	17013.62	16573.97	16522.83	16507.87	16424.97	16424.9	15619.4	15066.14
s	180	248	250	242	220	244	244	248	250	262

15*15的数据s和n之间的反比关系清晰。

大小顺序比较

3*3	0*2*4	0*1*4	1*3*4	1*2*4	0*3*4	2*3*4	0*1*2	0*1*3	1*2*3	0*2*3
7*7	1*3*4	2*3*4	0*3*4	1*2*4	0*1*4	0*1*3	1*2*3	0*2*4	0*2*3	0*1*2
5*5	1*3*4	0*1*2	2*3*4	1*2*3	1*2*4	0*1*3	0*3*4	0*1*4	0*2*4	0*2*3
9*9	1*3*4	2*3*4	1*2*4	0*3*4	0*1*3	0*1*4	1*2*3	0*1*2	0*2*3	0*2*4
11*11	1*3*4	0*3*4	2*3*4	0*1*4	0*1*3	1*2*4	1*2*3	0*1*2	0*2*4	0*2*3
13*13	1*3*4	2*3*4	0*3*4	0*1*4	0*1*3	1*2*4	1*2*3	0*1*2	0*2*3	0*2*4
15*15	1*3*4	2*3*4	0*3*4	1*2*3	0*1*2	0*1*3	1*2*4	0*1*4	0*2*3	0*2*4

头和尾的1*3*4和0*2*3，0*2*4位置相对固定，中间的各组尽管位置有变化，但在整体分布上仍然是相对集中的。

比较训练集的尺寸对迭代次数的影响

		0*1*2	0*1*3	0*1*4	0*2*3	0*2*4	0*3*4	1*2*3	1*2*4	1*3*4	2*3*4
3*3	7.00E-04	33226.74	32240.04	48307.49	31547.46	53032.97	44421.02	32127.16	44585.37	47638.36	44187.41
5*5	7.00E-04	28879.03	23980.69	23692.29	22965.5	23432.92	23932.92	25476.54	25250.71	34484.12	25534.59
7*7	7.00E-04	19930.4	21616.02	21940.64	20166.11	20786.95	22666.87	21265.56	22606.5	24371.9	22789.79
9*9	7.00E-04	18359.36	19849.48	19833.61	17300.2	17049.99	20086.51	19712.56	20321.21	21613.02	20439.4
11*11	7.00E-04	16571.86	17982.46	18000.18	16147.87	16176.46	18591.92	17850.13	17889.45	19181.42	18409.24
13*13	7.00E-04	15946.1	17293.87	17333.38	15491.27	15399.54	17743.58	17058.81	17204.64	18194.4	17760.64
15*15	7.00E-04	16522.83	16507.87	16424.9	15619.4	15066.14	17013.62	16573.97	16424.97	17419.22	17081.05

随着训练集尺寸的增加迭代次数是减小的。

移位距离的变化

		0*1*2	0*1*3	0*1*4	0*2*3	0*2*4	0*3*4	1*2*3	1*2*4	1*3*4	2*3*4
3*3	S	10	12	14	12	16	14	14	16	10	14
5*5	S	28	28	26	30	28	28	24	22	8	24
7*7	S	60	56	52	60	58	46	62	56	34	56
9*9	S	70	82	82	82	90	88	86	82	52	90
11*11	S	158	152	156	168	170	146	168	168	96	166
13*13	S	204	204	206	220	216	198	220	218	130	218
15*15	S	220	244	248	250	262	250	242	244	180	248

随着尺寸的扩大移位距离增加。

所以综合考虑s与图片尺寸的正比关系，n与尺寸的反比关系，s与n之间的反比关系，只要知道了5*5-15*15之间任一组数据，都可以对其余各尺寸的迭代次数给出一个合理的估计。

将移位距离假设外推到3分类问题 3-3, 5-5, 7-7

时序与空间结构 9-9, 11-11

三分类网络的物理意义是什么 13-13

对称性的排序 15-15