用二分类神经网络估算多分类神经网络迭代次数的经验公式

神经网络的迭代次数n和收敛误差δ总能满足关系式

一个多分类网络的参数a至少大于对应二分类网络的参数a的和，参数b的绝对值约等于对应多个二分类网络b的绝对值的最大值

本文再次验证这个关系式，这次用的13*13的图片。

这次同样统计了11个网络，包括6个二分类网络(0,1),(0,2),(0,3) ,(1,2) ,(1,3) ,(2,3),4个三分类网络(0,1,2), (0,1,3), (0,2,3), (1,2,3)和1个4分类网络(0,1,2,3).隐藏层节点数是30个，网络结构为

统计了0.5到1e-5共25个收敛误差，每个收敛误差测量199次，计算迭代次数的平均值，参数设置方案

static double ret=0.1; //学习率

static double weix=1000;

在收敛误差一致的前提下得到数据为

	0*1	0*2	0*3	1*2	1*3	2*3	0*1*2	0*1*3	0*2*3	1*2*3	0*1*2*3
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.5	6.733668	6.432161	7.934673	8.105528	6.547739	7.467337	109.2663	109.0603	140.809	140	286.9347
0.4	92.45226	130.2613	136.5025	137.2563	134.5025	157.0101	307.6884	316.1558	371.1407	422.5025	650.7136
0.3	127.5427	172.8995	182.9749	173.9648	173.4171	201.2362	363.2161	386.794	430.4874	507.8995	761.2261
0.2	164.5779	206.1508	215.9698	207.4975	228.5477	247	486.7789	526.3317	545.0754	601.2111	953.6181
0.1	212.9347	238.7638	273.7688	288.1307	289.2462	302.5427	725.7286	750.8492	666.0804	782.4573	1395.291
0.01	492.3568	499.1156	554.3065	577.5578	482.9045	709.6884	1537.714	1534.779	1748.864	1838.754	3527.402
0.001	1749.422	1239.317	1380.513	1259.834	1394.201	1586.437	5503.407	5288.035	5229.523	6207.176	13372.29
9.00E-04	1780.794	1269.829	1397.392	1301.698	1470.759	1627.312	6156.075	5747.99	5879.628	7184.457	14574.46
8.00E-04	1821.508	1300.221	1427.181	1365.206	1533.668	1651.271	7151.367	6412.387	6693.231	8668.538	15870.73
7.00E-04	1899.854	1343.427	1506.97	1473.92	1610.92	1687.844	7645.467	7032.508	7704.322	9852.95	17837.65
6.00E-04	2079.211	1429.427	1609.658	1579.015	1821.266	1718.256	8192.618	7752.04	8268.915	11306.83	20169.53
5.00E-04	2311.196	1606.09	1732.824	1725.075	2135.714	1819.724	9627.784	9097.573	8758.709	13330.59	23113.58
4.00E-04	2782.191	1866.683	1938.271	1922.266	2507.186	2001.879	12197.05	11707.81	9768.915	15206.4	27319.71
3.00E-04	3527.92	2105.075	2160.06	2119.327	2915.271	2356.864	14151.15	14440.69	11423.27	19837.41	32116.34
2.00E-04	4940.513	2290.633	2726.658	3916.864	4277.864	3197.91	18573.44	16839.37	14609.41	27853.5	42627.17
1.00E-04	6286.261	2953.437	4698.231	5288.95	6137.719	6983.533	28370.97	30612.63	21892.46	42267.14	65067.37
9.00E-05	6798.804	3054.482	4973.291	5504.528	7110.623	7555.291	30314.35	32981.02	22845.19	44865.28	70412.39
8.00E-05	8178.804	3228.673	5308.236	6164.126	8411.477	9249.191	32905.06	35526.37	24426.3	47631.96	73361.66
7.00E-05	9112.482	3473.719	5719.261	7559.583	9241.116	11221.53	34837.63	38546.76	26047.61	51185.5	78739.91
6.00E-05	11061.05	3819.296	6124.709	9005.462	9889.945	12914.13	37407.02	42679.86	27660.34	54867.78	84971.76
5.00E-05	13265.71	4103.749	6718.025	9591.985	10255.71	15455.26	40785.15	47235.65	29441.82	58825.92	94605.2
4.00E-05	15076.91	4494.03	7403.312	10655.01	11230.55	17489.82	46504.49	52647.85	31827.34	65334.03	106320.3
3.00E-05	15231.33	4951.95	8844.97	11024.6	15005	19989.93	53708.39	60466.93	36090.11	77109.76	122205.8
2.00E-05	15480.19	5992.995	11193.69	12763.09	20777.64	22714.18	63942.11	72226.67	42875.96	90485.73	150295.9
1.00E-05	25031.74	9386.864	18406.62	16025.06	32662.04	27580.57	84369.78	93154.76	51661.85	124660	206286.5

拟合得到

	0*1	32.47802450723911*δ**-0.5831015031864778
		0.9686458706264336   ******  决定系数 r**2
	0*2	51.30919270911507*δ**-0.44791865995565994
		0.9886193583905813   ******  决定系数 r**2
	0*3	47.886005223510566*δ**-0.4951534676480396
		0.956391073533652   ******  决定系数 r**2
	1*2	44.770770031148054*δ**-0.5161391642217052
		0.9560196957829404   ******  决定系数 r**2
	1*3	39.14550161580376*δ**-0.5559753593232657
		0.9180999873192752   ******  决定系数 r**2
	2*3	43.241682284703*δ**-0.5540998301120651
		0.9002198444886652   ******  决定系数 r**2
							a	计算值/实验值	b	计算值/实验值
13*13	0*1*2	144.2610575835931*δ**-0.5632352720039274					127	0.881944	0.58	1.035714
		0.9851774619520932   ******  决定系数 r**2
	0*1*3	141.49290439392576*δ**-0.5701088860390905					118	0.836879	0.58	1.017544
		0.976530648984943   ******  决定系数 r**2
	0*2*3	188.3901208060544*δ**-0.5060309899441509					141	0.75	0.55	1.1
		0.9658468622014262   ******  决定系数 r**2
	1*2*3	173.6071390053005*δ**-0.5788764903846232					126	0.728324	0.55	0.964912
		0.9822308629582532   ******  决定系数 r**2
	0*1*2*3	310.10754292910167*δ**-0.5713600303084961					256	0.825806	0.58	1.017544
		0.9922829022306022   ******  决定系数 r**2
							平均	0.8		1.02

如计算

计算得到a的值是实验值的0.82，b的值是实验值的1.01.

整体平均a的计算值是实验值的0.8，b的计算值是实验值的1.02.

11*11的网络，a的计算值是实验值的约0.78，b的计算值约为实验值的0.98。

9*9的网络，a的计算值是实验值的约0.9，b的计算值是实验值的约0.96。