由隐藏层节点数引起的网络准确率的不规则变化02

(0，2)-81*n*2-(1,0)(0,1)

做一个分类mnist 0，2的二分类三层网络，隐藏层节点数由3-1000共实验了59组值。固定收敛标准δ=1e-6,每组值迭代1999次，统计平均分类准确率pave和迭代次数的分布。

 

统计得到的表格

隐藏层节点数	迭代次数的均值	平均分类准确率	δ	耗时ms/次	峰值占比%	不同峰值数量	1/n^2
3	178616.4877	0.986592451	1.00E-06	796.08804	6.8	683	0.111111
5	117136.8594	0.98855914	1.00E-06	621.7969	2.8	674	0.04
10	80329.23862	0.988490518	1.00E-06	583.22361	18.4	162	0.01
20	56105.15958	0.987261772	1.00E-06	732.94347	46.5	40	0.0025
30	34663.66183	0.985049185	1.00E-06	606.98649	36.7	23	0.001111
40	18375.36068	0.983432571	1.00E-06	453.7964	37.9	13	0.000625
50	12000.17909	0.982436049	1.00E-06	382.18659	34.1	13	0.0004
60	8716.448224	0.982761759	1.00E-06	335.53677	62.5	8	0.000278
70	7765.041521	0.981953203	1.00E-06	357.97199	82.3	6	0.000204
80	7575.328664	0.981890548	1.00E-06	389.42671	80.5	7	0.000156
90	6987.775888	0.982819939	1.00E-06	417.70035	47	7	0.000123
100	5530.548274	0.98257404	1.00E-06	423.09355	55.3	9	0.0001
110	4701.468734	0.981943755	1.00E-06	384.8024	54.5	9	8.26E-05
120	4529.92096	0.981862701	1.00E-06	392.42271	91.8	5	6.94E-05
130	4516.147074	0.981792089	1.00E-06	511.30415	99.8	2	5.92E-05
150	4476.825413	0.9805621	1.00E-06	574.1906	95.3	4	4.44E-05
170	3694.712356	0.954447154	1.00E-06	565.87844	97.3	3	3.46E-05
190	3592.71936	0.95640887	1.00E-06	603.2051	78.9	4	2.77E-05
210	3288.171586	0.976363927	1.00E-06	629.10155	98.7	4	2.27E-05
230	3272.45923	0.975947964	1.00E-06	631.7939	90.6	4	1.89E-05
250	3138.144072	0.978781637	1.00E-06	712.0065	56.8	5	0.000016
270	2888.591296	0.973652084	1.00E-06	773.10255	51.4	6	1.37E-05
290	2357.346673	0.935567436	1.00E-06	696.62481	97.7	4	1.19E-05
310	1856.995498	0.929918737	1.00E-06	612.47474	62.5	2	1.04E-05
330	1556.47924	0.92568501	1.00E-06	606.68534	99.4	2	9.18E-06
350	1552	0.921664858	1.00E-06	664.22911	100	1	8.16E-06
370	1552	0.918690707	1.00E-06	772.15358	100	1	7.3E-06
390	1552	0.916166582	1.00E-06	720.62431	100	1	6.57E-06
410	1552	0.914367472	1.00E-06	843.29965	100	1	5.95E-06
430	1551.701351	0.912146928	1.00E-06	793.67234	99.8	2	5.41E-06
450	1522.433717	0.880051358	1.00E-06	859.56378	85.1	2	4.94E-06
470	1402.874437	0.754977141	1.00E-06	764.50125	74.9	2	4.53E-06
490	1347.812906	0.722088927	1.00E-06	886.8004	89.8	5	4.16E-06
510	1146.158579	0.857728317	1.00E-06	892.62881	50.6	5	3.84E-06
530	977.2226113	0.826342346	1.00E-06	643.85993	97.8	3	3.56E-06
550	970	0.82386397	1.00E-06	680.67684	100	1	3.31E-06
570	970	0.822728213	1.00E-06	702.85343	100	1	3.08E-06
590	970	0.822263766	1.00E-06	722.5923	100	1	2.87E-06
610	970	0.822133731	1.00E-06	736.7959	100	1	2.69E-06
630	970	0.822198624	1.00E-06	735.29915	100	1	2.52E-06
650	970	0.822440544	1.00E-06	798.82191	100	1	2.37E-06
670	970	0.82361832	1.00E-06	850.35468	100	1	2.23E-06
690	970	0.824684708	1.00E-06	854.21961	100	1	2.1E-06
710	969.873937	0.826557165	1.00E-06	894.21061	99.8	2	1.98E-06
730	968.3561781	0.830087758	1.00E-06	912.29165	98.1	3	1.88E-06
750	946.4872436	0.851308358	1.00E-06	929.28664	82.9	4	1.78E-06
770	809.911956	0.929636538	1.00E-06	851.93297	51.7	7	1.69E-06
790	716.0025013	0.963690593	1.00E-06	853.78639	88.2	7	1.6E-06
810	690.8169085	0.965884533	1.00E-06	890.66033	82.7	5	1.52E-06
830	679.128064	0.95942877	1.00E-06	874.05003	75.3	5	1.45E-06
850	615.8854427	0.869436458	1.00E-06	898.92997	64.6	7	1.38E-06
870	525.803902	0.763393128	1.00E-06	798.73787	36.9	6	1.32E-06
890	331.6188094	0.556186393	1.00E-06	789.82491	80.1	8	1.26E-06
910	267.3936968	0.490041243	1.00E-06	709.89045	99	6	1.21E-06
930	264.8129065	0.494703117	1.00E-06	766.3942	98.3	2	1.16E-06
950	264.1690845	0.520551031	1.00E-06	743.35218	92.4	2	1.11E-06
970	263.4097049	0.550442219	1.00E-06	760.8024	85.5	2	1.06E-06
990	261.1205603	0.639628711	1.00E-06	820.14357	64.7	2	1.02E-06
1000	257.9674837	0.762096754	1.00E-06	814.48074	63.9	2	0.000001

 

Pave

这次实验n=5时pave取得最大pave=0.988559140405195，观察图片pave随n的增加至少有比较明显的两个谷和一个峰，表现了非常不规则的变化，也就是在固定δ的情况下说n越大网络性能越强或者说n越小网络分辨性能越强都是不准确的。

峰值占比

这条曲线一个比较有价值的分割点是n=60，当n>60以后最大峰值占比就几乎都是大于40%，

而峰值占比小于20%的只有3组数据分别是n=3，5，10而这三组数据的平均分辨准确率也是所有59组数据中排名位于3，1，2的前三组数据。这个现象也证实了峰值占比和分辨准确率之间的强烈的正相关关系。

 

不同峰值数量

这组数据变化幅度非常大暗示和1/n^2之一强烈的关系。不同峰值数量大于100的只有3，5，10这3组数据。

这个现象提供了无需测试集找到网络最优结构的迭代思路：

在固定收敛标准下，在相同的迭代次数内，如果A网络的不同峰值数量>B网络的不同峰值数量，则A网络性能优于B网络。