调参总结

一.Tensorflow的迭代次数到底应该设置为多少？

1. 训练集对迭代次数的影响
2. 学习率对迭代次数的影响
3. 权重对迭代次数的影响
4. 隐藏层节点数对迭代次数的影响
5. 卷积核数量对迭代次数的影响
6. 网络层数对迭代次数的影响

二.迭代次数对网络分类准确率的影响

三.快速设定网络参数的一种便捷方法

 

一

1.训练集对迭代次数的影响

完全相同的两个对象无法被分成两类，比如用一个二分类网络去分类mnist的0和0，这个网络的分类准确率永远是50%。也就是说分类两个完全相同的对象的迭代次数是无穷大，由此可以引申出如果两个被分类对象之间的差异越小，与之对应的迭代次数将越大。

因此可以将迭代次数理解成是两个被分类对象之间差异大小的量度。

制作9个网络分别用来分类0-1到0-9

(mnis 0, mnist x)-con(3*3)-49-30-2-(1,0)(0,1)

三层网络节点数是81，30，2。有一个3*3的卷积核，分类mnist的0和mnist x，让x=1-9，让0向（1，0）收敛，让x向（0，1）收敛。

同时设置这个网络的迭代停止标准是

|输出函数-目标函数|<δ

让δ等于0.1到1e-7的31个值，每组值收敛199次，统计每次的迭代次数并统计平均值，得到的表格

	9	6	8	2	5	3	4	7	1
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.1	2362.905	2763.372	2617.372	2785.725	3508.412	2567.648	2352.869	2232.146	2081.131
1.00E-02	3377.824	3516.397	3487.045	3620.905	4482.322	3501.432	3239.744	3104.673	2850.236
1.00E-03	4638.894	4851.055	4888.638	4846.435	6103.94	4664.523	4525.779	4367.447	4126.91
1.00E-04	7127.503	7646.131	6770.578	7709.22	8919.698	7099.93	6481.905	6468.623	5887.709
9*1e-5	7156.286	7773.497	7345.497	7951.16	9349.02	7262.709	6723.286	6437.633	5996.663
8*1e-5	7367.859	7928.668	7308.02	8182.51	9539.442	7505.925	6901.276	6564.357	6169.337
7*1e-5	7518.492	8338.367	7442.362	8193.28	10203.43	7687.362	6983.593	6779.578	6184.608
6*1e-5	7833.106	8790.824	7950.407	8780.59	9851.553	8094.297	7224.774	6887.774	6469.729
5*1e-5	8203.98	8774.352	7781.106	9227.095	10868.83	8405.387	7523.724	7299.528	6686.593
4*1e-5	8463.402	9638.643	8625.352	9473.415	11182.1	8815.392	7910.116	7553.477	7160.337
3*1e-5	9201.839	10600.94	9775.462	10478	12931.17	9679.422	8599.352	8293.955	7711.472
2*1e-5	10848.2	11411.08	11628.49	12060.84	14625.32	10461.67	9137.015	8723.643	8744.005
1.00E-05	13375.71	14873	14918.06	19757.36	20225.77	12683.54	11235.33	10555.44	9885.658
9*1e-6	13466.41	15159.28	14988.04	22245.54	21326.77	13059.99	11316.15	10476.27	9949.095
8*1e-6	14629.72	17935.03	16597.2	22214.93	23468.94	13171.09	11563.64	10925.47	10597.78
7*1e-6	14828.54	18620.5	17736.16	28045.61	24229.22	13862.52	12665.93	11219.57	10781.61
6*1e-6	15859.35	19321.87	20981.81	28410.34	27358.97	15417.61	13010.63	11748.35	11409.87
5*1e-6	18927.24	21230.97	21156.49	33681.76	31394.19	15919.56	13712.61	12474.75	11777.72
4*1e-6	19663.64	24558.27	24769.43	37281.58	36071.51	18205.72	14354.06	13049.01	12539.73
3*1e-6	26072.95	31304.92	32129.62	45173.59	43770.63	22269.52	16352.39	14324.43	13767.38
2*1e-6	34811.55	46862.86	53448.89	60366.62	53362.96	31163.59	18902.75	16918.78	14645.3
1.00E-06	70131.85	100355.9	73646.55	90392.45	76472.83	47298.7	29535.1	21313.81	18080.93
9*1e-7	77841.01	103772.7	81385.9	99247.65	86231.85	50701.34	28357.42	21287.42	18234.14
8*1e-7	108462	119839	91615.03	95016.96	91895.45	50896.83	32744.68	24145.12	19182.81
7*1e-7	123232.6	129092.7	109482.4	113411.5	94373.55	62449.56	35204.73	27625.46	20378.61
6*1e-7	140167.9	127953.1	109426.8	116304.3	101428.6	64837.91	39191.89	29357.48	20348.53
5*1e-7	149534.4	156705.3	124867.1	129507.3	95963.77	77875.12	48544.11	40684.06	22365.02
4*1e-7	164962.1	161217.8	137533.3	135768.1	112533.3	88745.73	60192.69	40085.21	23351.5
3*1e-7	249506.1	205342.5	159985.3	149701.4	120549.3	114492.7	69731.63	62320.85	27243.87
2*1e-7	289655.7	256312.4	187551.5	155856.8	135646.8	141850.7	99327.43	74617.93	34178.87
1.00E-07		318339.7		207402.7	159863.3	1.82E+05	155931.3	133071.7	38643.19

 

可以明显的观察到0-9的迭代次数最大，0-1的迭代次数最少

对应同一个δ迭代次数n由小到大的顺序是1<7<4<3<5<2<8<6<9，这一规律体现出0和9的差异比较小相应的迭代次数就比较多，而0和1的差异则比较大相应的迭代次数则比较少。这两个迭代次数之间的比值可以达到8.45倍。

 

2.学习率对迭代次数的影响

(mnis 0, mnist 2)-con(3*3)-49-30-2-(1,0)(0,1)

用网络分类0-2，让学习率从0.6变化到1e-3，让δ=0.1到1e-7，利用多次测量求平均值的办法统计对应每个δ和每个学习率的迭代次数

δ\r	0.6	0.5	0.4	0.3	0.2	0.1	9*1e-2	8*1e-2	7*1e-2	6*1e-2	5*1e-2	4*1e-2	3*1e-2	2*1e-2	1.00E-02
0.1	450.9	509.7	601.6	832.2	1347	2786	3022.15	3421.49	3760.23	4466.9	5034.79	6573.76	8421.98	13866.1	29395.11
1.00E-02	707.2	757.2	998.1	1110	1717	3621	4132.17	4517.59	5232.74	6364.6	7586.89	9070.88	13176.8	17543.2	33094.21
1.00E-03	1102	1333	1451	1674	2429	4846	5419.32	6337.57	7445.61	8704.97	10398.8	13593.1	18510.3	26145.6	59695.11
1.00E-04	2527	2765	3067	3262	3965	7709	8515.03	9764.71	11357.2	13413.6	17218.2	21796.3	28744.2	42848.8	92427
0.00009	2686	2780	3145	3561	4488	7951	9066.59	9938.67	11039	14057.1	17463.9	22672.1	31534.5	46692.4	102512.5
0.00008	2923	3232	3656	3935	4710	8183	8945.27	10424.5	12045	14629.4	18146.8	22694.6	31008.1	50762.4	96688.84
0.00007	2632	3064	3951	4072	4461	8193	9274.57	10642.4	12481.7	14741.7	18819.3	24147.9	34670.9	46805.2	107360.5
0.00006	3413	3510	4434	4480	5156	8781	9656.64	10810.9	12898.6	15812.2	19477.4	24635.7	34407.5	53700.6	101850.8
0.00005	3514	3871	4467	4494	5562	9227	9912.13	11487	13513.3	16702	19825.9	26156.2	34971.2	54688.2	114240.8
0.00004	4030	4434	5692	5888	6443	9473	10787.3	12214.6	15033.8	17546.2	21844.8	27275.6	37760.9	56086.2	110557.3
0.00003	5155	6595	6183	6651	6918	10478	11589.7	13443.5	16093.2	19075	22692.5	31011.1	41042.7	66337.2	145883.5
0.00002	6346	6691	8426	8511	12241	12061	13977.1	16357.6	18447.9	20868.3	25713.1	34325.6	46288.7	73116.6	157999.1
1.00E-05	10469	12805	14397	16428	17083	19757	19716.1	21967.6	28235.1	26126.3	31903.6	42933.4	57378.8	88206.8	184000.7
0.000009	14149	15900	14249	20380	18225	22246	22123	23800.7	24885.1	30206.6	36951.2	45709.4	61453.5	99080.4	197259.9
0.000008	12061	16991	17343	20878	18793	22215	24338.4	23525.6	26229.4	30248.3	37264.6	45744	63118.8	102147	238433.6
0.000007	15448	17055	16757	23394	24627	28046	26621.4	27583.9	27712.9	33021.7	40300.9	48154.7	66872.6	91680.2	227748.7
0.000006	16363	19539	23098	23525	25263	28410	30478	30443.5	34617.6	36609.3	43348.8	51335.1	72964.4	101187	235256.2
0.000005	15435	22017	28748	27565	27952	33682	32414.7	34133.3	39291.5	39831.4	49829.6	57589.2	79256.6	112888	231381.4
0.000004	22164	27614	32166	35141	38190	37282	40560.4	38845.3	49073	49934.9	56060.9	59055.6	80945.5	105719	235798.3
0.000003	22927	28860	36660	35043	42120	45174	51076.8	54023.8	56240.5	55068.8	61498.8	72600.9	94621.9	130338	311185.9
0.000002	33399	36130	41347	47989	54458	60367	70687.1	73467.4	65498.1	79889.1	84106.9	99886.3	110987	195190	346350.5
1.00E-06	44777	49353	58197	66138	74129	90392	100524	110145	103614	111490	127627	135720	159008	232212	477003.3
1.00E-07	91115					2E+05	212024	243068	255093	300479	360578	405315	481567

 

结果表明在δ不变的前提下学习率越小对应的迭代次数越大。

 

3. 权重对迭代次数的影响

(mnis 0, mnist 2)-con(3*3)-49-30-2-(1,0)(0,1)

分类mnist的0-2，设d是从1-100的随机数，让隐藏层的权重=d/x，让x=10到50万，让δ等于0.1到1e-6的22个值。每组值计算99次取平均值。

n	50w	10w	50000	10000	5000	2000	1000	500	100	10
0.1	2954.606	2925.677	2682.434	2789.273	2851.414	2934.99	2785.725	2469.051	1492.364	824.5455
1.00E-02	3905.949	3822.828	3697.778	3839.242	3665.414	3597.384	3620.905	3195.273	2412.556	2290.162
1.00E-03	5019.576	4922.071	5071.838	5135.232	5039.111	5039.828	4846.435	4716.636	4220.495	6053.737
1.00E-04	7745.818	7713.869	7586.202	7566.566	7782.485	7884.495	7709.22	7643.263	7695.222	16028
9*1e-5	7963.232	8079.162	7945.636	8140.626	7738.576	7998	7951.16	7770.828	7968.343	15690.17
8*1e-5	8365.172	8228.737	8023.788	8136.414	8344.596	8009.616	8182.51	8274.535	8373.879	13377.99
7*1e-5	8351.596	8663.02	8172.141	8062.172	8338	8543.707	8193.28	8299.495	8587.455	15126.16
6*1e-5	8417.556	9177.737	8753.091	8484.495	8541.737	8616.182	8780.59	8658	8802.596	22843.65
5*1e-5	9031.434	8857.374	9313.737	9411.121	8861.606	8909.141	9227.095	8950.667	9941.172	27780.29
4*1e-5	9703.253	9872.081	9288.869	9631.778	9538.909	9668.152	9473.415	9662.909	10444.78	27402.92
3*1e-5	10273.36	10113.93	10285.41	10206.91	10629.06	10816.66	10478	10568.34	14323.28	24808.89
2*1e-5	11731.25	11892.36	12266.43	11755.62	11908.38	12202.96	12060.84	12658.81	15518.96	41082.65
1.00E-05	18167.29	16326.62	17709.88	16517.19	18050.47	17632.76	19757.36	19631.6	27037.91	41576.35
9*1e-6	18092.37	17627.63	17650.47	18858.78	18803.26	18320.92	22245.54	22426	34867.61	55239.19
8*1e-6	20048.55	20191.28	20609.12	18776.23	21052.76	20959.47	22214.93	29472.02	32882.16	38499.32
7*1e-6	19530.55	23512.86	22542.05	21879.03	23718.92	22918.35	28045.61	27159.87	44096.94	52918.58
6*1e-6	24351.96	23340.25	26207.54	24757.15	27849.16	28211.88	28410.34	30183.58	46843.72	46127.79
5*1e-6	29944.24	28645.25	28010.44	28571.44	31057.9	30435.4	33681.76	37208.66	53281.34	60459.68
4*1e-6	33255.04	35861.74	30981.66	34554.54	35596.87	34793.94	37281.58	40257.97	55912.52	60573.09
3*1e-6	42423.89	40650.68	40574.6	43801.63	41936.11	47156.65	45173.59	46803.47	68222.7	57790.01
2*1e-6	59707.64	60227.69	60508.31	55440.01	56348.59	58648.75	60366.62	66742.11	79970.38	76566.7
1.00E-06	90144.53	82600.19	81751.4	79639.55	85065.39	92023.44	90392.45	93909.44	109287.6	125939.1

结果很清晰在δ不变的前提下x越小迭代次数越大

4.隐藏层节点数对迭代次数的影响

(mnis 0, mnist 2)-con(3*3)-49-x-2-(1,0)(0,1)

分类0和2让隐藏层的节点数等于20-1000，让δ等于0.5到1e-6的26个值，每组值测量199次取平均值

δ	49*20*2	49*30*2	49*40*2	49*50*2	49*60*2	49*70*2	49*80*2	49*90*2	49*100*2	49*200*2	49*500*2	49*1000*2
0.5	25.54271	19.34673	14.68342	11.38191	9.562814	8.19598	8.678392	6.643216	6.713568	5.874372	366.4925	427.3367
0.4	1963.995	1847.327	1764.221	1649.487	1576.447	1480.261	1418.327	1433.764	1318.367	972.9296	327.407	416.7387
0.3	2327.337	2152.91	2053.513	1929.819	1867.296	1810.663	1733.02	1758.487	1724.548	1385.97	351.1457	495.2915
0.2	2514.834	2431.106	2247.01	2125.985	2047.809	2066.814	2061.312	1933.638	1919.312	1509.106	445.1106	431.7739
0.1	2907.417	2785.725	2586.347	2471.467	2336.698	2228.251	2266.432	2177.734	2181.518	1814.653	551.9648	538
0.01	3885.196	3620.905	3409.337	3290.392	3211.704	3154.075	2935.085	2922.005	2812.744	2409.899	1947.156	958.5578
0.001	5718.608	4846.435	4769.618	4482.884	4176.96	4087.307	4172.447	3935.538	3826.744	3242.412	2687.367	2178.156
1.00E-04	9210.337	7709.22	6843.774	6534.899	6287.417	5992.899	5800.96	5795.191	5498.035	4641.508	3755.719	3671.734
9.00E-05	9710.065	7951.16	7050.683	6653.683	6228.538	6188.085	5818.04	5733.683	5592.457	4643.814	3834.146	3766.915
8.00E-05	9738.583	8182.51	7373.899	6771.176	6455.231	6244.548	6237.206	5827.538	6010.317	4800.719	4004.121	3537.553
7.00E-05	10116.43	8193.28	7534.085	6862.09	6728.658	6499.869	6520.226	5903.482	5896.548	4944.121	3983.704	3755.638
6.00E-05	11118.71	8780.59	7912.809	7370.769	6712.94	6664.392	6259.513	6207.869	5955.121	5034.216	4338.09	3795.146
5.00E-05	12111.81	9227.095	8041.648	7763.618	7220.683	6979.608	6658.965	6452.015	6224.266	5301.121	4155.116	3860.779
4.00E-05	13728.94	9473.415	8914.709	7870.065	7335.975	6974.879	6793.106	6877.789	6384.94	5264.402	4743.256	3863.553
3.00E-05	15497.58	10478	8983.256	8461.719	7950.296	7625.261	7386.211	6936.482	6846.653	5613.075	4725.739	4506.377
2.00E-05	23317.28	12060.84	10254.75	9369.106	8535.261	8129.583	7959.653	7832.623	7559.673	6100.709	5045.266	4465.935
1.00E-05	38937.04	19757.36	13325.5	11380.39	9927.246	10038.44	9422.307	8606.266	8652.513	6956.779	5789.261	4991.508
9.00E-06	43911.23	22245.54	14199.69	12113.82	10543.48	10136.59	9981.849	9199.065	8930.714	7182.894	5733.809	5153.573
8.00E-06	53602.43	22214.93	15274	12452.03	10837.76	10599.35	9611.568	9402.352	8958.739	7194.166	5806.985	5193.623
7.00E-06	53211.28	28045.61	16940.79	13635.24	12077.03	11315.1	10070.84	9749.487	9323.196	7430.01	6073.266	5183.844
6.00E-06	57217.69	28410.34	19087.45	14732.5	12292.16	11030.2	10436.6	10225.85	9608.98	7687.754	6300.633	5706.01
5.00E-06	77478.28	33681.76	19354.78	16120.72	12830.23	12153.75	11567.16	10823.58	10396.34	8213.729	6550.332	6091.136
4.00E-06	84001.14	37281.58	24309.85	17517.83	16267.97	14135.49	11897.39	11054.88	11352.55	8421.467	6433.166	5787.121
3.00E-06	90617.76	45173.59	30329.22	20533.79	17320.02	15464.66	14069.67	13135.28	12671.94	8811.065	6982.005	6397.271
2.00E-06	119310.4	60366.62	40249.79	29888.18	24441.9	20569.78	18074.04	15542.84	15187.57	10138.04	7838.643	6485.407
1.00E-06	153821.4	90392.45	66962.16	48307.74	40945.18	31941.37	30805.03	25686.17	23370.95	15122.7	9934.658	8098.126

规律很明显x越小对应的迭代次数越大。X越大对应的迭代次数越少。但是x越大网络越大单次迭代的计算量也越大，因此随着x的增大在δ不变的前提下收敛时间有个极小值。

 

5.卷积核数量对迭代次数的影响

(mnist 0 ,mnist2)81-con(3*3)*n-(49*n)-30-2-(1,0) || (0,1)

分类0和2，向这个网络增加n个3*3的卷积核，让n分别等于0-9.当n=0时，网络相当于一个三层的网络

(mnist 0 ,mnist2)81-30-2-(1,0) || (0,1)

让δ分别等于0.5到1e-6的34个值每组值收敛199次，统计迭代次数平均值。

		1	2	3	4	5	6	7	8	9
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.5	8.864322	16.24623	13.80905	14.90452	15.17588	12.13568	11.83417	11.92462	13.06533	11.13065
0.4	208.9397	1685.925	1134.131	882.4573	751.9347	664.0804	594.8342	526.3166	481.1859	445.8191
0.3	268.7286	1923.096	1299.829	1047.608	869.2663	788.8694	699.3417	648.0251	593.9447	548.1809
0.2	324.0151	2120.045	1440.628	1160.975	988.6633	872.4271	790.1357	712.6784	664.0754	630.4221
0.1	410.5879	2318.668	1637.131	1291.804	1105.392	971.6834	880.6131	814.5879	764.2714	718.4573
0.01	685.5477	2832.724	2076.397	1656.417	1424.9	1282.628	1206.704	1101.251	1039.472	999.1859
0.001	1447.131	3803.322	2899.739	2436.895	2234.598	2142.965	2086.709	2070.985	2123.764	2199.789
9.00E-04	1450.915	3783.528	2924.246	2495.834	2291.754	2173.563	2137.221	2139.347	2256.804	2365.523
8.00E-04	1494.925	3831.327	3005.176	2545.623	2314.834	2233.156	2231.533	2247.498	2312.97	2508.678
7.00E-04	1552.714	3962.889	3032.824	2621.95	2432.156	2312.236	2360.945	2437.226	2532.663	3025.829
6.00E-04	1711.628	4070.799	3151.97	2738.246	2520.181	2427.558	2559.216	2598.543	2897.819	3426.171
5.00E-04	1968.714	4228.101	3268.749	2908.442	2656.392	2614.231	2638.94	3189.176	3705.146	4812.141
4.00E-04	2165.055	4379.653	3413.588	3049.171	2878.216	2938.784	3379.382	4073.372	5242.417	7248.422
3.00E-04	2324.08	4616.387	3568.749	3236.673	3262.699	3474.136	4279.653	6453.819	8586.452	11609.67
2.00E-04	2720.844	5050.874	4034.085	3941.784	4741.608	5935.935	8696.774	11151.12	15180.14	19449.47
1.00E-04	3165.709	6349.699	5698.945	6692.221	9883.704	14487.85	20128.9	26472.59	31021.32	34488.16
9.00E-05	3407.91	6705.251	6425.643	7671.834	10057.86	16786.43	22643.76	27280.82	33107.07	36141.16
8.00E-05	3486.764	6955.814	6875.578	8632.764	13695.61	18656.79	24313.79	30661.9	32898.83	37901.49
7.00E-05	3668.683	7528.92	7582.653	10520.67	14594.5	21585.94	27430.91	33478.19	37926.07	39971.74
6.00E-05	3962.563	8184.292	8908.658	10364.41	17772.01	26005.45	33621.57	37461.17	40297.02	43397.05
5.00E-05	4167.678	8865.02	9484.176	13928.86	20620.39	29064.9	36309.25	40110.72	43048.42	45538.37
4.00E-05	4515.829	9644.558	11563.16	18354.37	27010.35	33951.97	40799.66	44108.27	45917.92	48308.95
3.00E-05	5059.879	11485.9	15935.82	23537.47	31983.07	40540.77	44894.17	48028.65	49944.31	52696.23
2.00E-05	6524.874	15515.14	23050.37	31693.9	39692.1	46629.56	50373.94	54465.65	55854.44	57249.01
1.00E-05	8527.9	25127.07	34262.57	43816.4	51902.06	55930.22	60159.97	61394.46	63830.06	66139.31
9.00E-06	8746.422	26410.51	37680.04	46022.3	54010.82	57544.23	61327.05	63699.2	64750.77	68351
8.00E-06	9474.01	29507.95	39589.83	48614.33	54025.24	59733.02	62842.51	64384.89	66818.93	68970.2
7.00E-06	10301.67	31298.12	40019.11	50429.01	56361.68	62009	63321.66	66217.43	69258.37	69606.42
6.00E-06	11850.65	33845.36	44199.28	51939.93	59028.91	63013.84	65983.75	67526.19	69809.58	70851.06
5.00E-06	13068.73	36965.26	47009.32	56133.38	62123.93	66072.72	68282.15	71326.04	72951.16	74612.08
4.00E-06	14670.05	40347.78	49610.82	59106.07	63852.48	69004.8	71463.16	73956.1	77287.44	76819.8
3.00E-06	17112.47	44845.01	56031.89	62566.35	67823.03	73042.56	74778.5	77379.65	80787.31	81893.53
2.00E-06	23285.87	52058.75	62225.43	70379.01	74180.41	77512.57	81224.45	85341.33	87238.95	87805.16
1.00E-06	35222.24	66830.71	77563.4	82040.66	86059.04	90214.99	93471.64	96062.58	99403.25	102968.4

迭代次数随着卷积核数量的增加而增加。并且迭代次数与卷积核数量的平方根成正比

X---卷积核的数量

α---系数

 

并且收敛时间与卷积核数量的3/2次幂成正比。

 

6.网络层数对网络迭代次数的影响

(mnist 0 ,mnist 2)81-30-2-(1,0) || (0,1)

(mnist 0 ,mnist 2)81-30-49-30-2-(1,0) || (0,1)

(mnist 0 ,mnist 2)81-30-49-30-49-30-2-(1,0) || (0,1)

(mnist 0 ,mnist 2)81-30-49-30-49-30-49-30-2-(1,0) || (0,1)

制作4个网络去分类0和2，这4个网络的层数分别是3层，5层，7层，9层.

让δ等于0.5到1e-6的34个值，每组值收敛199次，统计平均值。

 

	9	7	5	3
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.5	8.291457	7.628141	5.728643	4.824121
0.4	334.3869	136.5377	47.92965	10.60302
0.3	445.608	223.8141	105.6432	32.92462
0.2	500.1307	275.8442	155.2563	68.78894
0.1	612.9146	369.5226	248.9497	155.2965
0.01	1085.503	754.2462	596.3015	492.8593
0.001	9882.784	8027.377	2793.01	1295.281
9.00E-04	10881.03	8691.206	2924.266	1368.503
8.00E-04	11977.38	9745.246	3438.271	1426.709
7.00E-04	14072.29	10714.58	4023.141	1494.201
6.00E-04	16406.42	12371.1	4890.673	1667.829
5.00E-04	20385.63	15137.29	5992.065	1749.307
4.00E-04	24298.51	17785.58	7844.638	1875.171
3.00E-04	32696.08	22253.22	11235.22	2184.286
2.00E-04	44724.82	31035.44	15313.87	2582.925
1.00E-04	89078.6	56299.69	25407.06	3498.412
9.00E-05	95407.9	63010.57	27220.85	3645.025
8.00E-05	104874.4	68325.11	29562.66	3840.156
7.00E-05	116214.4	78167.16	32122.32	4077.126
6.00E-05	131232.3	89236.13	34942.84	4212.678
5.00E-05	149461.3	102580.9	39240.9	4589.568
4.00E-05	166924.9	117010.6	42965.2	5167.663
3.00E-05	204507.9	149188.4	52871.19	5821.111
2.00E-05	274629	212703	64717.94	6976.513
1.00E-05	439076.3	360851.1	90076	9615.879
9.00E-06	473836.4	386946.7	91610.54	9692.05
8.00E-06	514704.1	429464.9	99462.98	10012.85
7.00E-06	550991.1	455372.7	105727.8	10419.32
6.00E-06	616058.6	535610.7	110838.9	11089.11
5.00E-06	742561	608267.8	118164.4	12141.85
4.00E-06	892665.6	729212.1	138541.7	12888.37
3.00E-06	1155870	930735.7	155032.7	13944.59
2.00E-06	1.69E+06	1390712	189751.4	16152.7
1.00E-06	3.35E+06	2727215	318306.6	20551.51

 

在δ不变的前提下，随着网络层数的增加迭代次数增加。

将上述所有现象总结成表格

δ	训练集差异	学习率	权重	隐藏层节点数	卷积核数量	网络层数
不变	增加	减小	增大	减小	增加	增加	迭代次数增加
δ	训练集差异	学习率	权重	隐藏层节点数	卷积核数量	网络层数
减小	不变	不变	不变	不变	不变	不变	迭代次数增加

在δ不变的前提下，训练集差异增加，学习率减小，权重增大，隐藏层节点数减小，卷积核数增加，网络层数增加都会导致迭代次数增加。

在网络结构不变的前提下δ减小，迭代次数增加。

 

二.迭代次数对网络分类准确率的影响

前面的所有实验都表明在训练集不变，δ不变的前提下迭代次数越多网络的分类准确率越大。但是不包括由于卷积核数量的增加而引起的迭代次数的增加。

平均性能	0-1	81*30*2>2>3>4>5>6>7>8>9>1			没有正面价值
	0-5	2>3>4>5>6>7>8>9>81-30-2>1			明显提升
	0-6	81*30*2>2>9>8>1>7>6>5>4>3			没有正面价值
	0-2	81*30*2>2>3>4>5>6>7>8>9>1			没有正面价值
最大性能	0-1	81*30*2=1=2=3=4=5=6=7=8=9			没有提升
	0-5	2>3>4>5>6>7>8>9>1>81-30-2			提升明显
	0-6	81*30*2=2=7>8>1=3=4>6>5			无明显提升
	0-2	5>3>2>4=7=8>1=9>6>81*30*2			提升明显

 

卷积核数量对网络性能的影响的实验共做了4次，分别是0-1，0-2，0-5，0-6.这4次实验都表明卷积核的数量有一个最优值，超过最优值以后网络的性能是下降的。

卷积核有可能改善网络性能比如0-5，但是卷积核也有可能没有任何正面价值，比如0-1，0-6，0-2增加卷积核只会导致网络平均性能下降。

7个变量对网络性能影响的总结

δ	训练集差异	学习率	权重	隐藏层节点数	卷积核数量	网络层数
不变	增加	减小	增大	减小	有最优值	增加	网络性能增加
δ	训练集差异	学习率	权重	隐藏层节点数	卷积核数量	网络层数
减小	不变	不变	不变	不变	不变	不变	网络性能增加

如果不考虑卷积核数量改变导致的迭代次数改变，可以简单的概括成在δ不变的前提下，迭代次数越多网络性能越好。分类准确率越高。因此使网络性能更好有两种等效的调参策略，一种是通过调节学习率，权重，节点数，网络层数使迭代次数变大；或者在其他所有参数都不变的情况下将δ调小。

 

三.快速设定网络参数的一种便捷方法

由上述所有讨论，一个参数最优的网络应该满足：隐藏层节点数应该小于等于节点数效率最优值，卷积核数应该等于卷积核数量最优值。而其余无论是由学习率，权重，网络层数引起的迭代次数的增加都可以用δ减小来等效的替代。

也就是可以通过将δ不断减小的办法来使网络性能得到单向的不断的提升。甚至一个网络即便不满足参数最优，把δ调的更小也确定的会使网络的性能得到改善，因此这是一种便捷的单参数调参法。