为什么要加卷积核？

构造一个81*30*3的网络和一个有5个3*3卷积核的网络，分类mnist的0，1，2通过分类准确率数据比较卷积核的作用。

数据集是mnist的0，1，2将图片变成9*9，

无卷积核的裸网络的结构是

Mnist（0，1，2）---81---30---3----(1,0,0) || (0,1,0) || (0,0,1)

5个卷积核的网络的结构是

Mnist（0，1，2）---con3*3*5---7*7*5---30---3----(1,0,0) || (0,1,0) || (0,0,1)

用网络输出值与目标值的差值作为网络的收敛结束标准

|输出值-目标值|=δ

让δ分别等于1e-4到1e-8.每个δ收敛199次取平均值，共收敛了2*17*199次。分别记录对应每个δ的平均准确率，最大准确率，迭代次数和收敛时间和199测分类准确率的标准差。

 

无核网路的数据

无核
f2[0]	f2[1]	f2[2]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时 min/199	最大值p-max	标准差
7.44E-05	0.196045	0.803986	27833.26	0.982809	1.00E-04	547.1005	108896	1.814933	0.986336	0.00211
6.83E-05	0.175937	0.824082	29340.49	0.982986	9.00E-05	573.1156	114054	1.9009	0.986336	0.00188
5.85E-05	0.155833	0.844184	31737.18	0.983441	8.00E-05	618.3266	123052	2.050867	0.986336	0.001577
5.28E-05	0.140752	0.859263	35173.1	0.983954	7.00E-05	683.9799	136117	2.268617	0.986972	0.00156
4.35E-05	0.125671	0.874342	39840.33	0.984409	6.00E-05	768.4221	152917	2.548617	0.986972	0.001206
3.62E-05	0.145763	0.854247	44351.31	0.984731	5.00E-05	852.5075	169655	2.827583	0.987925	0.001112
2.74E-05	0.020133	0.979874	50897.51	0.985356	4.00E-05	983.9598	195809	3.263483	0.987607	0.000962
2.08E-05	0.050275	0.949732	58540.31	0.985867	3.00E-05	1116.874	222260	3.704333	0.988561	0.000888
1.38E-05	0.025142	0.974863	75020.01	0.986892	2.00E-05	1426.417	283873	4.731217	0.989514	0.000979
6.59E-06	0.030159	0.969844	105302.8	0.988173	1.00E-05	1998.704	397760	6.629333	0.990467	0.000959
5.49E-06	0.025133	0.97487	112076.2	0.988353	9.00E-06	2110.879	420065	7.001083	0.990149	0.000943
5.04E-06	0.010057	0.989946	117964.6	0.988484	8.00E-06	1685.663	335447	5.590783	0.990149	0.000934
4.40E-06	0.005031	0.994971	121447.5	0.988562	7.00E-06	2273.709	452468	7.541133	0.990467	0.000869
3.57E-06	0.00503	0.994972	131816.6	0.988819	6.00E-06	2486.296	494773	8.246217	0.990467	0.000776
3.06E-06	0.00503	0.994972	139246.6	0.988963	5.00E-06	2608.704	519148	8.652467	0.990785	0.000846
2.38E-06	3.57E-06	0.999998	151750.2	0.989309	4.00E-06	2832.452	563658	9.3943	0.991103	0.000704
1.69E-06	2.61E-06	0.999998	171937	0.989515	3.00E-06	3367.844	670218	11.1703	0.991738	0.00071
1.17E-06	1.70E-06	0.999999	192145.3	0.989838	2.00E-06	3892.382	774592	12.90987	0.992374	0.000737
5.27E-07	8.49E-07	0.999999	239406.2	0.990485	1.00E-06	4200.975	836004	13.9334	0.992056	0.00071
4.82E-07	7.58E-07	0.999999	242219.7	0.990493	9.00E-07	4819.492	959087	15.98478	0.992056	0.000757
4.10E-07	6.94E-07	1	252592.7	0.990489	8.00E-07	4682.965	931916	15.53193	0.992374	0.000747
3.61E-07	6.05E-07	1	264546.9	0.990627	7.00E-07	4006.704	797340	13.289	0.992374	0.000802
3.01E-07	5.15E-07	1	270883.3	0.990676	6.00E-07	4904.412	975989	16.26648	0.992691	0.000774
2.40E-07	4.36E-07	1	288360.4	0.990876	5.00E-07	5213.447	1037490	17.2915	0.992374	0.000763
1.96E-07	3.47E-07	1	298620.9	0.990921	4.00E-07	5504.915	1095486	18.2581	0.992691	0.000761
1.40E-07	2.64E-07	1	321430.4	0.991157	3.00E-07	5984.598	1190954	19.84923	0.992691	0.000749
9.61E-08	1.74E-07	1	352910.5	0.991388	2.00E-07	6380.844	1269793	21.16322	0.993327	0.00081
4.34E-08	8.83E-08	1	400271.1	0.991641	1.00E-07	7226.673	1438111	23.96852	0.993327	0.000805
3.55E-08	8.02E-08	1	418117.3	0.991618	9.00E-08	7554.206	1503293	25.05488	0.993327	0.000814
3.17E-08	7.15E-08	1	422921	0.991623	8.00E-08	7639.899	1520351	25.33918	0.993645	0.000817
2.78E-08	6.30E-08	1	431914.3	0.991701	7.00E-08	7826.965	1557578	25.95963	0.993963	0.000806
2.50E-08	5.31E-08	1	450995.3	0.99169	6.00E-08	8424.93	1676577	27.94295	0.993327	0.000812
1.92E-08	4.46E-08	1	451507.8	0.991741	5.00E-08	7867.839	1565708	26.09513	0.993327	0.000764
1.51E-08	3.63E-08	1	477393.6	0.991709	4.00E-08	8821.698	1755519	29.25865	0.993645	0.000898
1.07E-08	2.68E-08	1	500028.4	0.991799	3.00E-08	8999.995	1791000	29.85	0.993645	0.000833
7.50E-09	1.79E-08	1	525958.1	0.991767	2.00E-08	10181.58	2026156	33.76927	0.99428	0.000815
4.07E-09	8.80E-09	1	576699	0.991812	1.00E-08	10419.82	2073544	34.55907	0.993963	0.000785

 

5个卷积核网络的数据

 

5
f2[0]	f2[1]	f2[2]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时 min/199	最大值p-max	标准差
0.698479	0.286469	0.015158	35781.01	0.98182	1.00E-04	9274.779	1845703	30.76172	0.990149	0.005496
0.71355	0.251294	0.035248	37055.27	0.98186	9.00E-05	10043.37	1998647	33.31078	0.990785	0.005262
0.743701	0.231193	0.025191	39660.05	0.98263	8.00E-05	10321.43	2053985	34.23308	0.991103	0.005188
0.723605	0.251285	0.025183	43073.96	0.983444	7.00E-05	11203.3	2229457	37.15762	0.99142	0.004914
0.743706	0.226156	0.030199	48387.61	0.984043	6.00E-05	12841.87	2555539	42.59232	0.990785	0.00463
0.788931	0.165856	0.045265	54111.62	0.984663	5.00E-05	14461.2	2877799	47.96332	0.991738	0.003962
0.839182	0.110578	0.050282	58390.81	0.984872	4.00E-05	15125.22	3009936	50.1656	0.992056	0.004193
0.819085	0.125647	0.055299	69861.23	0.986394	3.00E-05	18088.98	3599726	59.99543	0.993645	0.003836
0.934664	0.025141	0.040216	84607.48	0.987275	2.00E-05	21809.21	4340032	72.33387	0.992691	0.003321
0.884417	0.040209	0.075384	113518.7	0.989006	1.00E-05	29023.62	5775703	96.26172	0.993009	0.002595
0.884418	0.035183	0.080408	116764.5	0.989011	9.00E-06	31420.88	6252772	104.2129	0.993645	0.002452
0.924619	0.030157	0.045232	121199.8	0.988969	8.00E-06	32736.33	6514563	108.5761	0.993963	0.002788
0.864318	0.015081	0.120607	127616.1	0.989206	7.00E-06	33793.67	6724962	112.0827	0.993009	0.002299
0.874369	0.035181	0.090456	133287.6	0.989308	6.00E-06	35072.14	6979369	116.3228	0.993963	0.002649
0.844219	0.03518	0.120606	148576.1	0.989966	5.00E-06	38453.66	7652282	127.538	0.99428	0.002038
0.909546	0.010054	0.080405	153811.6	0.990119	4.00E-06	40236.49	8007064	133.4511	0.993645	0.001917
0.783919	0.020103	0.195981	174867	0.989859	3.00E-06	45900.82	9134269	152.2378	0.99428	0.002644
0.778894	0.020102	0.201006	191543.2	0.990271	2.00E-06	50249.96	9999758	166.6626	0.993963	0.002102
0.758794	0.010051	0.231156	230501	0.990403	1.00E-06	59820.19	11904219	198.4037	0.993963	0.002415
0.653266	0.015076	0.331659	240200.4	0.990157	9.00E-07	62553.32	12448114	207.4686	0.994598	0.00262
0.663317	0.010051	0.326633	248517.1	0.990466	8.00E-07	64427.78	12821141	213.6857	0.99428	0.002311
0.678392	0.020101	0.301508	257205	0.990272	7.00E-07	68003.96	13532795	225.5466	0.993963	0.002239
0.723618	0.015076	0.261307	263480.2	0.990697	6.00E-07	67587.88	13450013	224.1669	0.995234	0.002069
0.61809	4.36E-07	0.38191	275964	0.99074	5.00E-07	71423.62	14213308	236.8885	0.994916	0.002054
0.59799	0.025126	0.376885	293300.9	0.990467	4.00E-07	75939.62	15111996	251.8666	0.99428	0.002173
0.562814	2.61E-07	0.437186	310972.9	0.990822	3.00E-07	80267.45	15973228	266.2205	0.994916	0.002226
0.547739	0.01005	0.442211	336482.8	0.990976	2.00E-07	87635.89	17439546	290.6591	0.995234	0.002104
0.532663	0.015075	0.452261	382286.8	0.990991	1.00E-07	99956.42	19891345	331.5224	0.994598	0.002179
0.492462	0.005025	0.502513	388770.6	0.990823	9.00E-08	101827	20263594	337.7266	0.994916	0.002112
0.462312	0.005025	0.532663	390518.9	0.990989	8.00E-08	102264.8	20350700	339.1783	0.994598	0.002224
0.452261	0.005025	0.542714	400328.2	0.990715	7.00E-08	104427.7	20781121	346.352	0.994916	0.002378
0.40201	0.015075	0.582915	423798.3	0.991336	6.00E-08	111411.3	22170863	369.5144	0.995234	0.002112
0.417085	0.015075	0.567839	437013.5	0.991344	5.00E-08	113981.6	22682349	378.0392	0.994916	0.002024
0.407035	0.01005	0.582915	459736.3	0.991328	4.00E-08	120307.9	23941283	399.0214	0.994598	0.001805
0.407035	0.005025	0.58794	470944.5	0.991096	3.00E-08	122076.8	24293292	404.8882	0.995869	0.001853
0.356784	0.015075	0.628141	502589.2	0.991781	2.00E-08	131185.6	26105935	435.0989	0.994916	0.001486
0.346734	0.005025	0.648241	572687	0.991658	1.00E-08	150921.6	30033399	500.5567	0.994598	0.001607

 

将平均准确率和最大准确率以及标准差列出来

	无核	5个核		无核	5个核		无核	5个核
δ	平均准确率p-ave	平均准确率p-ave		最大值p-max	最大值p-max		标准差	标准差
1.00E-04	0.982809	0.98182		0.986336	0.990149		0.00211	0.005496	0.383995
9.00E-05	0.982986	0.98186		0.986336	0.990785		0.00188	0.005262	0.357206
8.00E-05	0.983441	0.98263		0.986336	0.991103		0.001577	0.005188	0.303999
7.00E-05	0.983954	0.983444		0.986972	0.99142		0.00156	0.004914	0.31742
6.00E-05	0.984409	0.984043		0.986972	0.990785		0.001206	0.00463	0.260549
5.00E-05	0.984731	0.984663		0.987925	0.991738		0.001112	0.003962	0.280694
4.00E-05	0.985356	0.984872		0.987607	0.992056		0.000962	0.004193	0.229515
3.00E-05	0.985867	0.986394		0.988561	0.993645		0.000888	0.003836	0.23158
2.00E-05	0.986892	0.987275		0.989514	0.992691		0.000979	0.003321	0.294673
1.00E-05	0.988173	0.989006		0.990467	0.993009		0.000959	0.002595	0.369499
9.00E-06	0.988353	0.989011		0.990149	0.993645		0.000943	0.002452	0.384622
8.00E-06	0.988484	0.988969		0.990149	0.993963		0.000934	0.002788	0.334908
7.00E-06	0.988562	0.989206		0.990467	0.993009		0.000869	0.002299	0.378022
6.00E-06	0.988819	0.989308		0.990467	0.993963		0.000776	0.002649	0.293088
5.00E-06	0.988963	0.989966		0.990785	0.99428		0.000846	0.002038	0.41509
4.00E-06	0.989309	0.990119		0.991103	0.993645		0.000704	0.001917	0.367068
3.00E-06	0.989515	0.989859		0.991738	0.99428		0.00071	0.002644	0.268445
2.00E-06	0.989838	0.990271		0.992374	0.993963		0.000737	0.002102	0.350831
1.00E-06	0.990485	0.990403		0.992056	0.993963		0.00071	0.002415	0.293812
9.00E-07	0.990493	0.990157		0.992056	0.994598		0.000757	0.00262	0.28912
8.00E-07	0.990489	0.990466		0.992374	0.99428		0.000747	0.002311	0.323109
7.00E-07	0.990627	0.990272		0.992374	0.993963		0.000802	0.002239	0.358189
6.00E-07	0.990676	0.990697		0.992691	0.995234		0.000774	0.002069	0.374171
5.00E-07	0.990876	0.99074		0.992374	0.994916		0.000763	0.002054	0.371331
4.00E-07	0.990921	0.990467		0.992691	0.99428		0.000761	0.002173	0.35034
3.00E-07	0.991157	0.990822		0.992691	0.994916		0.000749	0.002226	0.336619
2.00E-07	0.991388	0.990976		0.993327	0.995234		0.00081	0.002104	0.384796
1.00E-07	0.991641	0.990991		0.993327	0.994598		0.000805	0.002179	0.369567
9.00E-08	0.991618	0.990823		0.993327	0.994916		0.000814	0.002112	0.385203
8.00E-08	0.991623	0.990989		0.993645	0.994598		0.000817	0.002224	0.367109
7.00E-08	0.991701	0.990715		0.993963	0.994916		0.000806	0.002378	0.338951
6.00E-08	0.99169	0.991336		0.993327	0.995234		0.000812	0.002112	0.384475
5.00E-08	0.991741	0.991344		0.993327	0.994916		0.000764	0.002024	0.377483
4.00E-08	0.991709	0.991328		0.993645	0.994598		0.000898	0.001805	0.497674
3.00E-08	0.991799	0.991096		0.993645	0.995869		0.000833	0.001853	0.449515
2.00E-08	0.991767	0.991781		0.99428	0.994916		0.000815	0.001486	0.548764
1.00E-08	0.991812	0.991658		0.993963	0.994598		0.000785	0.001607	0.488578

 

观察平均准确率

可以看到无核的裸网络和含卷积核的网络的平均性能其实相差不大，

在δ>1e-6的区间含卷积核的网络的平均性能>无核的裸网络；

在δ<1e-6的区间无核的裸网络的平均性能>含卷积核的网络；

 

第二步比较标准差

这个很明显,网络增加了卷积核只是使网络平均性能的标准差变大了，也就是无核的裸网络的性能要比增加了卷积核的网络要稳定。裸网络的标准差只有含卷积核网络的1/3左右。

最后比较最大性能

 

因为裸网络和含有卷积核的网络的平均性能差不多，但是含卷积核网路的标准差更大显然使得含卷积核网络的最大性能也更大。

 

因此，卷积核只是增加了网络的性能的标准差，让网络变得更不稳定，增加了得到更大准确率的概率当然也增加了得到更差准确率的概率。但就平均性能而言和无核的裸网络平均性能相差不大，但却慢的多。

至少对这个实验而言一个结构简单的网络的性能要远好于含有多个卷积核的复杂网络。

***这篇文的实验数据已经上传到我的资源