是否可能通过无限增加卷积核的办法使网络性能无限提升？

神经网络的分类性能是否随着卷积核数量的增加而单调的递增？

本文制作了一个3分类的网络，设置卷积核的数量分别等于1-24个，观察网络的平均分类准确率随着卷积核数量的增加到底是如何变化的。

网络结构

Mnist（0，1，2）---con3*3*n---7*7*n---30---3----(1,0,0) || (0,1,0) || (0,0,1)

将mnist的0，1，2数据集的图片处理成9*9（每隔3个点取一个点），用n个3*3的卷积核，三层网络的结构是(49*n)*30*3个节点。

用网络输出值与目标值的差值作为网络的收敛结束标准:

|输出值-目标值|=δ

让δ分别等于1e-5到1e-4.每个δ收敛199次取平均值，共收敛了24*10*199次。分别记录对应每个δ的平均准确率，最大准确率，迭代次数和收敛时间。

 

平均准确率

	无核	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24
	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave
1.00E-04	0.9827705	0.9753358	0.9804983	0.9811083	0.9811163	0.9818204	0.9825422	0.9831043	0.9832368	0.9831634	0.9829973	0.9837925	0.9831697	0.9835051	0.98385	0.9841039	0.9833406	0.9836009	0.9836951	0.9834156	0.9831985	0.983529	0.9834252	0.9830915	0.9825917
9.00E-05	0.9831266	0.9761263	0.9802412	0.9813733	0.9826029	0.9818604	0.9831458	0.9832304	0.9837222	0.9841645	0.9838516	0.9842827	0.98343	0.9845158	0.9838771	0.9839538	0.9840448	0.9841518	0.9843865	0.9832576	0.9835657	0.9833454	0.9829606	0.9831618	0.9837398
8.00E-05	0.9833837	0.9765526	0.9802029	0.9811099	0.9821909	0.98263	0.9833614	0.9834588	0.9837462	0.9841342	0.9839697	0.9846835	0.984313	0.9843562	0.984321	0.9842332	0.9843562	0.9842444	0.9847122	0.9834811	0.9841789	0.9835226	0.984131	0.9839793	0.9835083
7.00E-05	0.9837717	0.9765654	0.9811322	0.9815586	0.9826572	0.9834444	0.9840991	0.9838292	0.9843354	0.9845111	0.984353	0.9840512	0.9844584	0.9844376	0.9843498	0.9849134	0.9845047	0.984361	0.9841071	0.9842795	0.9839809	0.9843514	0.9844855	0.9841198	0.9837302
6.00E-05	0.9843242	0.9775235	0.9814165	0.9831186	0.9833326	0.9840432	0.984361	0.9841645	0.9844999	0.9847617	0.9844328	0.9851625	0.984939	0.9848783	0.9849214	0.9844328	0.9851226	0.9848687	0.9846532	0.9846532	0.9844025	0.9848751	0.9844296	0.9845669	0.9842172
5.00E-05	0.9848608	0.9778316	0.9818875	0.9827035	0.9838452	0.9846627	0.9847458	0.9852663	0.9852073	0.9847985	0.9853462	0.9856464	0.985739	0.9854532	0.9856496	0.9844248	0.9844472	0.9854436	0.98545	0.9853829	0.9850396	0.9844823	0.9846212	0.9843562	0.9844663
4.00E-05	0.985426	0.9786636	0.9824256	0.9841071	0.9846915	0.9848719	0.985715	0.9860136	0.985723	0.9858108	0.9857358	0.9863953	0.985755	0.9863777	0.9858045	0.9852647	0.9854755	0.9854867	0.9855985	0.985624	0.9857406	0.985228	0.98545	0.9853302	0.985739
3.00E-05	0.9859418	0.9786843	0.9835178	0.9850955	0.9860791	0.9863937	0.9868184	0.9868312	0.9871442	0.9865055	0.986852	0.9864639	0.986836	0.9868152	0.9867721	0.9866795	0.9866635	0.9866188	0.9866252	0.9865118	0.9865166	0.9858891	0.9859306	0.9862835	0.9860472
2.00E-05	0.9869063	0.9805414	0.9840049	0.9861653	0.987141	0.9872751	0.9879074	0.988107	0.9882875	0.9882108	0.9880176	0.9877557	0.9874635	0.9876072	0.9879362	0.9876376	0.9877318	0.9872512	0.9875881	0.9872496	0.9872559	0.9871394	0.9872895	0.987034	0.98705
1.00E-05	0.9881518	0.9821957	0.9861542	0.9877238	0.9883146	0.989006	0.989006	0.9889837	0.9893669	0.9891753	0.9894531	0.9893717	0.9893494	0.989204	0.9894867	0.9894867	0.9893589	0.9893957	0.9889278	0.9889645	0.9888815	0.9887282	0.9884232	0.9884615	0.9886324

 

从图中可以发现没有卷积核的网络也就是81*30*3的网络的分类性能大致和6核网络的性能相当，也就是如果卷积核数量少于6个不如不使用卷积核。

但是网络性能并没有随着卷积核的数量的增加而单调的增加，

这点从上图很容易观察到，平均性能的峰值顶点在第8个核附近0.989366917216081，卷积核的数量超过8个核以后性能随着卷积核的数量的增加而下降。

也就是希望通过增加卷积核来无限制提升网络性能的办法是不可行的，因为这是一个先上升后下降的趋势。

1<2<3<4<5<6=无核<7<8>9>10>11>12>13>14>15>16>17>18>19>20>21>22>23>24

 

再来观察最大性能

	无核	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24
	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max
1.00E-04	0.9863362	0.9831586	0.9882428	0.9901493	0.9904671	0.9901493	0.9907849	0.9901493	0.9911026	0.9898316	0.9904671	0.9907849	0.9904671	0.9901493	0.9904671	0.9898316	0.9901493	0.9904671	0.9901493	0.9901493	0.9901493	0.9907849	0.9901493	0.9904671	0.9895138
9.00E-05	0.9863362	0.9828408	0.9904671	0.9895138	0.9907849	0.9907849	0.9907849	0.9914204	0.9911026	0.9907849	0.9904671	0.9904671	0.9904671	0.9911026	0.9904671	0.9907849	0.9904671	0.9901493	0.9904671	0.9904671	0.9904671	0.9901493	0.9901493	0.9895138	0.9911026
8.00E-05	0.9863362	0.9837941	0.9891961	0.9904671	0.9907849	0.9911026	0.9907849	0.9907849	0.9904671	0.9911026	0.9907849	0.9914204	0.9904671	0.9904671	0.9904671	0.9904671	0.9904671	0.9901493	0.9904671	0.9911026	0.9911026	0.9901493	0.9904671	0.9901493	0.9901493
7.00E-05	0.986654	0.9847474	0.9888783	0.9914204	0.9907849	0.9914204	0.9907849	0.9917382	0.9926915	0.9907849	0.9914204	0.9920559	0.9911026	0.9911026	0.9911026	0.9911026	0.9914204	0.9907849	0.9907849	0.9904671	0.9907849	0.9901493	0.9901493	0.9911026	0.9904671
6.00E-05	0.9869717	0.9844296	0.9907849	0.9911026	0.9907849	0.9907849	0.9914204	0.9920559	0.9930092	0.9914204	0.9917382	0.9904671	0.9914204	0.9907849	0.9911026	0.9914204	0.9914204	0.9907849	0.9904671	0.9914204	0.9914204	0.9901493	0.9911026	0.9904671	0.9907849
5.00E-05	0.9872895	0.9863362	0.9895138	0.9911026	0.9911026	0.9917382	0.9917382	0.9917382	0.9920559	0.9914204	0.9914204	0.9914204	0.9917382	0.9917382	0.9914204	0.9907849	0.9911026	0.9917382	0.9920559	0.9907849	0.9914204	0.9907849	0.9917382	0.9907849	0.9911026
4.00E-05	0.987925	0.9876072	0.9901493	0.9911026	0.9914204	0.9920559	0.9923737	0.9923737	0.9914204	0.9917382	0.9914204	0.9920559	0.9917382	0.9914204	0.9907849	0.9914204	0.9917382	0.9917382	0.9917382	0.9917382	0.9914204	0.9911026	0.9920559	0.9917382	0.9926915
3.00E-05	0.9885605	0.9860184	0.9898316	0.9917382	0.9923737	0.9936447	0.993327	0.9917382	0.9926915	0.9930092	0.9920559	0.993327	0.9923737	0.9920559	0.9926915	0.9920559	0.9917382	0.9930092	0.9920559	0.9911026	0.9920559	0.9917382	0.9926915	0.9920559	0.9917382
2.00E-05	0.9895138	0.9888783	0.9917382	0.9923737	0.9936447	0.9926915	0.9930092	0.9926915	0.9930092	0.9936447	0.9930092	0.9942803	0.9923737	0.9930092	0.993327	0.993327	0.9926915	0.9930092	0.993327	0.993327	0.9923737	0.9926915	0.9923737	0.9930092	0.9917382
1.00E-05	0.9904671	0.9888783	0.9917382	0.9930092	0.9930092	0.9930092	0.9939625	0.9936447	0.9942803	0.9930092	0.9942803	0.9936447	0.9939625	0.9939625	0.9930092	0.994598	0.9936447	0.9939625	0.9930092	0.9930092	0.9936447	0.9930092	0.993327	0.9936447	0.993327

 

网络的最大分类性能与平均性能变化的规律大体上是一致，随着卷积核数量的增加最大性能也是先上升后下降的规律。

但没有卷积核的裸网络的最大性能曲线仅略好于1个核的网络。裸网络的平均性能虽然与6个核的相当，但实验结果很清晰，只要卷积核的数量超过1个，获得更大分类准确率的概率就大幅增加。

 

3比较迭代次数

	无核	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24
	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
1.00E-04	28124.126	26363.337	29979.673	33505.824	34287.251	35781.005	36393	36198.372	36559.171	35908.97	35984.985	36432.995	35975.121	35158.608	34849.101	35285.01	35300.377	35492.181	34433.161	34965.156	34066.482	34509.965	33593.302	34826.045	33836.834
9.00E-05	29987.729	29978.573	32175.729	36229.457	36723.593	37055.271	38212.141	38496.814	38671.196	39193.96	38783.658	38386.97	38511.085	38309.382	38782.608	37330.683	37358.613	36983.894	37041.709	36984.116	36589.513	37149.889	36095.221	35700.322	35459.337
8.00E-05	31350.236	32322.02	34999.729	38706.91	40096.749	39660.045	41560.945	42218.603	40946.754	41336.392	41267.121	41394.698	40964.603	40719.739	39945.658	39421.854	40681.07	40038.734	38817.693	38490.392	38544.96	38975.573	38532.196	37816.598	37946.724
7.00E-05	34517.307	33146.799	37931.538	41524.055	43070.256	43073.96	44722.457	44130.141	44990.573	44166.347	43386.94	43004.307	43543.955	43540.221	42858.98	43018.231	42055.141	41833.317	41546.518	42022.985	40391.241	40626.05	41011.91	40349.578	40601.302
6.00E-05	38040.945	37338.347	41309.322	46602.578	46176.874	48387.608	48282.894	48211.799	47397.397	48940.141	48093.814	47818.92	47749.291	46612.362	46278.085	45673.824	45822.553	44635.226	44976.96	43909.548	44530.231	44611.427	43462.874	44263.307	43895.166
5.00E-05	44035.538	41032.764	46641.221	50103.844	51737.774	54111.623	53573.492	53435.427	53356.799	53122.553	51852.688	52563.638	52129.608	51287.889	51800.347	49121.633	48671.849	49192.894	48718.191	49348.744	47596.407	48566.231	48409.462	48112.05	48021.271
4.00E-05	51206.688	46429.281	51540.754	56576.111	59430.935	58390.814	60279.035	61504.673	59402.156	58477.593	57556.658	58451.106	58198	56739.638	55744.869	55820.08	55373.809	55034.271	55470.683	54251.538	54618.156	53051.784	53374.99	52447.206	53108.342
3.00E-05	60094.633	53295.553	60681.412	65860.221	67512.538	69861.226	69671.769	68288.568	68381.683	67892.543	65794.302	66697.769	66502.03	65532.558	65526.543	64026.447	62647	63022.111	63046.719	60707.874	60312.698	59228.307	61837.025	59463.372	59193.749
2.00E-05	75255.03	68115.648	73774.844	78836.91	82261.482	84607.482	82296.538	82697.447	81852.322	83528.045	80141.94	79658.09	77541.94	76919.688	77456.201	77743.704	76069.894	74429.814	75165.925	72190.055	71793.789	72919.648	71729.116	72143.603	69703.226
1.00E-05	105617.92	89846.487	98724.668	108704.93	108726.58	113518.73	111453.34	108518.19	108211.67	108714.66	107922.2	104651.31	104601.31	103637.22	101395.85	102920.23	101257.73	102736.07	100495.92	97050.97	98032.246	97393.844	94972.337	95764.648	95546.337

迭代次数曲线的变化规律是最为清晰的，迭代次数随着卷积核数量的增加是先增加后下降的，无卷积核的裸网络的迭代次数曲线和2个核的迭代次数曲线大体重合。

迭代次数曲线的峰值出现在5个核。这个位置比平均性能曲线的峰值的位置稍小些。

1<2=无核<3<4<5>6>7>8>9>10>11>12>13>14>15>16>17>18>19>20>21>22>23>24

 

最后考虑耗时

 

	无核	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24
	耗时 min/198	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199	耗时 min/199
1.00E-04	1.7959833	5.2044667	10.761983	17.697133	25.06455	30.761717	38.807083	43.825117	51.394867	55.337333	62.993983	69.109817	76.503917	79.68595	85.922717	93.397983	99.499967	107.68242	112.55437	113.82033	118.0696	123.97782	127.19317	142.86933	141.31773
9.00E-05	1.9285167	5.9544	11.538767	19.178217	24.9489	33.310783	41.97085	47.8454	54.231983	63.54735	67.782983	72.293983	79.248883	89.167317	95.01835	98.188633	105.54232	111.51525	117.93158	122.85382	124.33822	130.09507	137.69198	140.9868	147.36062
8.00E-05	2.0181	6.4226	12.526817	20.4336	28.973583	34.233083	43.31305	51.449867	57.095767	62.64085	72.13595	78.326667	87.38795	93.061933	98.24765	103.96745	113.85245	118.3822	124.19218	125.0228	131.31508	137.47255	145.24483	150.58187	156.24917
7.00E-05	2.2135	6.57305	13.5572	22.3224	28.419017	37.157617	48.042383	54.732367	62.63395	69.25505	75.80715	82.404633	90.20145	100.91835	105.26863	113.65118	118.32975	124.60877	131.0534	137.19933	138.18822	143.59333	154.67182	165.37337	167.5772
6.00E-05	2.43035	7.3859	14.74005	24.50945	32.6907	42.592317	52.715617	57.891017	66.566933	76.920033	83.9125	88.9966	100.0437	106.06915	113.02703	117.8712	128.56613	133.72853	144.64843	144.04102	151.59498	164.9672	163.39712	175.59025	180.9757
5.00E-05	2.80525	8.16315	15.777617	25.080683	37.016817	47.963317	56.428817	64.824583	73.47375	83.822367	90.14335	98.567317	110.75688	115.40903	126.26177	126.53413	135.83447	147.07502	154.37767	161.01043	160.36768	177.78613	183.40363	191.68515	197.76138
4.00E-05	3.2485167	7.1923667	18.822567	29.470433	43.93925	50.1656	63.04765	74.211633	83.287767	91.3095	99.89205	108.23228	121.45302	128.2457	136.08832	144.60355	154.1469	163.62747	175.97142	176.54183	190.67043	194.9548	202.14387	208.87257	216.197
3.00E-05	3.8048	10.5643	22.00195	34.03475	44.198017	59.995433	72.538433	82.9001	94.604783	105.82542	113.39317	124.97498	139.03407	147.11228	159.68545	164.49283	174.89538	188.46768	193.85952	194.90477	205.81675	216.59527	232.56082	233.77435	242.31962
2.00E-05	4.62085	13.376017	24.850633	40.5423	57.55195	72.333867	87.097033	99.13375	113.02132	130.37197	138.93015	148.53678	164.89943	173.81777	187.39533	200.17655	209.38253	220.41147	229.60457	233.57257	246.46873	255.69252	270.11763	283.36797	285.86822
1.00E-05	6.55745	15.9231	35.727033	55.903167	75.809167	96.261717	114.3315	130.69715	150.03637	167.87448	184.22573	196.991	217.31047	230.28493	244.44427	265.8767	278.56902	303.39292	307.10363	311.7583	327.96728	339.95648	354.93202	373.60505	389.59185

这条曲线接近直线，收敛标准越小直线的斜率越大。无核的裸网络的的速度是最快的，无核的裸网络的平均性能相当于6个核，但收敛之间只有6个核的5.7%。

8	24
1.00E-05	1.00E-05
150.03637	389.5919	耗时 min/199
0.9893669	0.988632	平均准确率p-ave
0.9992576	2.596649

24核的网络的性能只有8核性能的99.92%，损失了0.07.5%，但是耗时是8核的2.59倍。

当δ=1e-5时，耗时y和卷积核数量x之间有关系

Y=15.897015275260872*x+16.644531281739127

0.9936006780703771   ******  决定系数 r**2

可以用此推算当卷积核的数量是100个的时候耗时为1606.3460588078262min，是8核的10.7倍，性能损失至少大于0.075%，也就是当有100个核时的平均性能比较峰值性能损失至少0.075%，但要多花10倍的时间。由此可见一个不恰当的卷积核数量设置可能会导致巨大的算力浪费。

 

无核<1<2<3<4<5<6<7<8<9<10<11<12<13<14<15<16<17<18<19<20<21<22<23<24

 

用迭代次数的数据/耗时得到：次/min的数据

	无核	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24
	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min	次/min
1.00E-04	15659.46	5065.521	2785.702	1893.291	1367.958	1163.166718	937.7927	825.9732	711.33896	648.9104	571.2447923	527.1753961	470.2389	441.2146	405.5865766	377.792	354.7778	329.6005	305.9247	307.196	288.5288	278.356	264.1125	243.7615	239.4379911
9.00E-05	15549.63	5034.692	2788.489	1889.094	1471.952	1112.410687	910.4448	804.6085	713.06992	616.7678	572.1739644	530.9842961	485.9511	429.6348	408.1591402	380.1935	353.9681	331.6488	314.0949	301.0416	294.2741	285.5596	262.1447	253.2175	240.6296708
8.00E-05	15534.53	5032.544	2793.984	1894.278	1383.907	1158.529743	959.5479	820.5775	717.15919	659.8951	572.0742654	528.4879372	468.7672	437.5553	406.5813105	379.175	357.314	338.2158	312.5615	307.867	293.5303	283.5153	265.2913	251.1365	242.8603264
7.00E-05	15593.99	5042.834	2797.889	1860.197	1515.544	1159.222891	930.8959	806.2896	718.30968	637.7347	572.3330807	521.8675794	482.7412	431.4401	407.139131	378.5111	355.4063	335.7173	317.0198	306.2915	292.2915	282.9243	265.1544	243.9908	242.2841622
6.00E-05	15652.46	5055.355	2802.522	1901.413	1412.539	1136.064244	915.9125	832.8028	712.02615	636.247	573.142429	537.311758	477.2843	439.4526	409.4426268	387.4893	356.4123	333.7749	310.9398	304.8406	293.7448	270.426	265.9954	252.0829	242.5472913
5.00E-05	15697.54	5026.585	2956.164	1997.707	1397.683	1128.187683	949.3995	824.3081	726.2022	633.7515	575.2247774	533.2765461	470.667	444.401	410.2615392	388.2086	358.3174	334.4749	315.578	306.4941	296.7955	273.1722	263.9504	250.9952	242.8243095
4.00E-05	15763.1	6455.355	2738.243	1919.758	1352.571	1163.961242	956.0869	828.774	713.21586	640.4327	576.1885785	540.0524107	479.1812	442.4292	409.6227414	386.0215	359.2275	336.3388	315.2255	307.3013	286.4532	272.1235	264.0446	251.0967	245.6479124
3.00E-05	15794.43	5044.873	2758.002	1935.088	1527.502	1164.442396	960.4807	823.7453	722.81423	641.5523	580.2316263	533.6889597	478.3146	445.4595	410.3476097	389.2355	358.197	334.3921	325.2186	311.4745	293.0408	273.4515	265.8961	254.3623	244.2796401
2.00E-05	16285.97	5092.372	2968.731	1944.559	1429.343	1169.680073	944.8834	834.2007	724.22021	640.6902	576.8505951	536.2852801	470.2378	442.5306	413.3304689	388.3757	363.3058	337.6858	327.3712	309.0691	291.2896	285.1849	265.5477	254.5934	243.8299261
1.00E-05	16106.55	5642.525	2763.304	1944.522	1434.214	1179.27186	974.8262	830.3026	721.23626	647.5949	585.8150165	531.2491765	481.345	450.0391	414.8015031	387.0976	363.4924	338.6238	327.2378	311.302	298.9086	286.4892	267.579	256.3259	245.2472676

将速度曲线画成图，拟合

y=5630.384286483394*x**-0.9849340360486022

0.9997146318921649   ******  决定系数 r**2

X是卷积核的数量单位：个

Y是网络迭代速度单位：次/分钟

 

 

综合起来看，平均性能的峰值出现在8核，迭代次数的峰值出现在5核，

5	8
1.00E-05	1.00E-05
96.2617167	150.036367	耗时 min/199
0.98900604	0.98936692	平均准确率p-ave
1.00036489	1.55862966

对比8核和5核的数据，8核的平均性能要好0.03%，但耗时是5核的1.55倍，因此从收敛效率考虑卷积核数量等于5是一个综合性能比较全面的设置方案。