是否所有二分类神经网络的准确率都能无限趋近100%？

制作一个二分类的神经网络验证是否只要经过足够的迭代都能使准确率无限上升并接近1。

r1	r2
<1	<1	吸引子	c
>1	>1	排斥子	p
>1	<1	鞍点	a
<1	>1	反鞍点	fa

d2（c，p）-4-4-2-（2*k）,k∈{0,1}

d2（c，a）-4-4-2-（2*k）,k∈{0,1}

d2（c，fa）-4-4-2-（2*k）,k∈{0,1}

d2（p，a）-4-4-2-（2*k）,k∈{0,1}

d2（p，fa）-4-4-2-（2*k）,k∈{0,1}

d2（a，fa）-4-4-2-（2*k）,k∈{0,1}

本次实验构造了6个网络分别二分类cp,ca,cfa,pa,pfa,afa。

实验过程

以二分类吸引子和排斥子为例子

d2（c，p）-4-4-2-（2*k）,k∈{0,1}

制作一个4*4*2的网络向这个的左侧输入吸引子，并让左侧网络向1，0收敛；向右侧网络输入排斥子让右侧向0，1收敛，并让4*4*2部分权重共享，，前面大量实验表明这种效果相当于将两个弹性系数为k1，k2的弹簧并联成一个弹性系数为k的弹簧，并且让k1=k2=k/2的过程。

 

这个网络的收敛标准是

if (Math.abs(f2[0]-y[0])< δ  &&  Math.abs(f2[1]-y[1])< δ   )

因为对应每个收敛标准δ都有一个特征的迭代次数n与之对应因此可以用迭代次数曲线n(δ)来评价网络性能。

本文尝试了δ从0.5到1e-6在内的26个值.

具体进样顺序
进样顺序	迭代次数
δ=0.5
c	1	判断是否达到收敛
p	2	判断是否达到收敛
梯度下降
c	3	判断是否达到收敛
p	4	判断是否达到收敛
梯度下降
……
达到收敛标准测量准确率,记录迭代次数，将这个过程重复199次
δ=0.4
…
δ=1e-6

将这个网络简写成

d2（c，p）-4-4-2-（2*k）,k∈{0,1}

得到的数据

cp
测试集	0.3	c
	0.7	p
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时 min/199	最大准确率p-max
0.499499	0.52977	149.2864	0.700283	0.5	2.050251	408	0.0068	0.736737
0.60013	0.404593	6191.251	0.978929	0.4	13.31156	2665	0.044417	0.993994
0.711649	0.293137	10058.88	0.991353	0.3	18.55779	3725	0.062083	1
0.810707	0.191481	15794.96	0.996972	0.2	27.67337	5507	0.091783	1
0.907472	0.09366	24295.35	0.993979	0.1	41.65829	8290	0.138167	1
0.99134	0.008736	59370.36	0.86567	0.01	98.75879	19653	0.32755	1
0.999168	8.37E-04	116218.8	0.632869	0.001	193.5276	38512	0.641867	0.978979
0.999918	8.26E-05	213160.8	0.534097	1.00E-04	353.3568	70318	1.171967	0.928929
0.999926	7.41E-05	212890.8	0.540621	9.00E-05	353.4271	70332	1.1722	0.891892
0.999934	6.58E-05	216429.1	0.55042	8.00E-05	359.8945	71635	1.193917	0.905906
0.999944	5.66E-05	227994	0.534218	7.00E-05	379.3015	75512	1.258533	0.933934
0.999952	4.87E-05	238336.1	0.521904	6.00E-05	393.8492	78376	1.306267	0.863864
0.99996	4.05E-05	256301.7	0.507533	5.00E-05	423.5678	84291	1.40485	0.84985
0.999967	3.32E-05	272096.3	0.523715	4.00E-05	451.9347	89935	1.498917	0.850851
0.999976	2.46E-05	283245.7	0.505737	3.00E-05	391.5779	77941	1.299017	0.800801
0.999984	1.62E-05	320385.5	0.491366	2.00E-05	533.608	106188	1.7698	0.798799
0.999992	7.92E-06	362938.1	0.499625	1.00E-05	602.6432	119942	1.999033	0.828829
0.999993	7.22E-06	379786.3	0.492769	9.00E-06	631.7085	125710	2.095167	0.757758
0.999994	6.41E-06	391093.6	0.485304	8.00E-06	650.3668	129439	2.157317	0.747748
0.999994	5.58E-06	396418.2	0.48787	7.00E-06	667.5075	132850	2.214167	0.722723
0.999995	4.71E-06	401244.4	0.494746	6.00E-06	678.4372	135009	2.25015	0.813814
0.999996	3.97E-06	439625.5	0.484474	5.00E-06	743.7889	148014	2.4669	0.754755
0.999997	3.16E-06	480586.6	0.472216	4.00E-06	810.5377	161297	2.688283	0.765766
0.999998	2.37E-06	482990.6	0.483745	3.00E-06	810.3819	161266	2.687767	0.762763
0.999998	1.59E-06	555404.6	0.469817	2.00E-06	933.8191	185831	3.097183	0.724725
0.999999	7.75E-07	621276.4	0.467452	1.00E-06	1045.342	208023	3.46705	0.712713
0.943057	0.058565	268626.3	0.604142	0.058138	446.5611	88871.88	1.481198	0.851005

这个网络的测试集有30%的c和70%的p

从数值上观察很明显准确率的平均值和最大值都没有随着收敛标准的减小而增大。平均值趋向于50%。

第二个网络

d2（c，a）-4-4-2-（2*k）,k∈{0,1}

ca
测试集	0.3	c
	0.7	a
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时 min/199	最大准确率p-max
0.499584	0.515973	181.6482	0.700867	0.5	2.165829	431	0.007183	0.88989
0.605006	0.400648	4185.683	0.936233	0.4	9.201005	1847	0.030783	0.972973
0.719815	0.284929	4950.729	0.914266	0.3	9.592965	1910	0.031833	0.942943
0.819668	0.185906	5621.844	0.898466	0.2	10.68844	2127	0.03545	0.936937
0.91303	0.089101	6358.879	0.879789	0.1	12.24121	2436	0.0406	0.923924
0.991778	0.008487	9141.543	0.860177	0.01	16.79397	3342	0.0557	0.906907
0.999184	8.34E-04	13441.74	0.852918	0.001	23.22111	4621	0.077017	0.918919
0.999918	8.29E-05	21858.25	0.856253	1.00E-04	37.16583	7413	0.12355	0.911912
0.999926	7.49E-05	22514.33	0.854769	9.00E-05	38.0804	7594	0.126567	0.907908
0.999935	6.62E-05	22933.27	0.85485	8.00E-05	38.64824	7691	0.128183	0.907908
0.999942	5.90E-05	23904.65	0.861882	7.00E-05	40.0804	8023	0.133717	0.921922
0.999951	4.98E-05	25076.15	0.858165	6.00E-05	42.8392	8525	0.142083	0.91992
0.999959	4.12E-05	25666.67	0.85815	5.00E-05	44.90452	8941	0.149017	0.913914
0.999968	3.19E-05	27387.46	0.856746	4.00E-05	46.67337	9288	0.1548	0.914915
0.999976	2.40E-05	30215.88	0.856283	3.00E-05	52.1206	10372	0.172867	0.90991
0.999984	1.63E-05	32900.33	0.857496	2.00E-05	56.1407	11173	0.186217	0.915916
0.999992	7.91E-06	40569.4	0.853557	1.00E-05	68	13532	0.225533	0.90991
0.999993	7.27E-06	41823.16	0.854558	9.00E-06	69.82412	13910	0.231833	0.914915
0.999993	6.55E-06	43123.77	0.852541	8.00E-06	72.23618	14375	0.239583	0.914915
0.999994	5.59E-06	45766.82	0.851057	7.00E-06	76.51759	15243	0.25405	0.924925
0.999995	4.84E-06	47956.51	0.851751	6.00E-06	80.61307	16057	0.267617	0.901902
0.999996	3.89E-06	51933.27	0.843939	5.00E-06	87.17085	17362	0.289367	0.908909
0.999997	3.26E-06	58216.54	0.840373	4.00E-06	96.90955	19285	0.321417	0.897898
0.999998	2.39E-06	67257.81	0.83659	3.00E-06	112.0503	22313	0.371883	0.906907
0.999998	1.60E-06	93343.57	0.823105	2.00E-06	155.2864	30902	0.515033	0.898899
0.999999	7.52E-07	136177.5	0.805584	1.00E-06	225.0302	44781	0.74635	0.892893
0.944138	0.057168	34711.82	0.852706	0.058138	58.62292	11672.85	0.194547	0.914953

这个网络的测试集有30%的c，70%的a

这个网路的准确率的平均值和最大值要比较第一个网络高些，但也不是随着δ的减小增加的。明显的趋于一个定值。

第三个网络

d2（c，fa）-4-4-2-（2*k）,k∈{0,1}

cfa
测试集	0.3	c
	0.7	fa
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时 min/199	最大准确率p-max
0.499631	0.516258	181.5377	0.701043	0.5	2.040201	406	0.006767	0.736737
0.593787	0.409867	4247.367	0.932686	0.4	9.844221	1959	0.03265	0.962963
0.720905	0.28509	5066.859	0.914236	0.3	9.763819	1959	0.03265	0.955956
0.820136	0.183989	5560.809	0.895433	0.2	10.47236	2099	0.034983	0.935936
0.914333	0.088609	6510.085	0.882838	0.1	12.05025	2398	0.039967	0.926927
0.991791	0.008448	9125.794	0.860982	0.01	16.23116	3230	0.053833	0.910911
0.999171	8.42E-04	13343.48	0.856148	0.001	22.82412	4542	0.0757	0.912913
0.999918	8.28E-05	21923.32	0.856535	1.00E-04	37.12563	7388	0.123133	0.917918
0.999927	7.43E-05	22779.75	0.858783	9.00E-05	39.04523	7770	0.1295	0.903904
0.999935	6.55E-05	23230.09	0.858472	8.00E-05	39.28141	7817	0.130283	0.911912
0.999944	5.70E-05	23991.33	0.858366	7.00E-05	40.61809	8115	0.13525	0.90991
0.99995	5.04E-05	24863.7	0.860816	6.00E-05	42.32161	8422	0.140367	0.91992
0.999959	4.12E-05	25851.49	0.856007	5.00E-05	44.35678	8827	0.147117	0.906907
0.999966	3.39E-05	27462.18	0.856807	4.00E-05	46.85427	9325	0.155417	0.915916
0.999976	2.46E-05	29699.94	0.855977	3.00E-05	50.56784	10063	0.167717	0.905906
0.999984	1.66E-05	33061.28	0.857667	2.00E-05	55.63317	11086	0.184767	0.911912
0.999992	8.15E-06	41189.6	0.854307	1.00E-05	69.30653	13823	0.230383	0.908909
0.999993	7.18E-06	41336.82	0.85077	9.00E-06	70.16583	13979	0.232983	0.906907
0.999994	6.43E-06	42669.6	0.853567	8.00E-06	72.1608	14360	0.239333	0.912913
0.999994	5.57E-06	45067.12	0.850061	7.00E-06	76.80402	15284	0.254733	0.905906
0.999995	4.78E-06	48391.38	0.846173	6.00E-06	81.25628	16186	0.269767	0.905906
0.999996	3.99E-06	53587.13	0.851012	5.00E-06	90.59296	18028	0.300467	0.906907
0.999997	3.19E-06	58254.92	0.841902	4.00E-06	98.29146	19577	0.326283	0.905906
0.999998	2.38E-06	66089.84	0.836304	3.00E-06	110.9497	22079	0.367983	0.904905
0.999998	1.55E-06	89193.42	0.823919	2.00E-06	149.0804	29699	0.494983	0.905906
0.999999	7.50E-07	138352.1	0.807783	1.00E-06	231.1508	45999	0.76665	0.883884
0.943818	0.057446	34655.04	0.853023	0.058138	58.79957	11708.46	0.195141	0.907484

 

 这个网络的值与第二个网路的值高度近似， 这体现了a和fa相对c的对称性。

两个网络的迭代次数是高度重合的。

两个网络的平均准确率是高度重合的。

两个网络的最大准确率也是高度重合的。

第四个网络

d2（p，a）-4-4-2-（2*k）,k∈{0,1}

pa
测试集	0.3	p
	0.7	a
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时 min/199	最大准确率p-max
0.514668	0.499679	177.8141	0.299395	0.5	2.045226	408	0.0068	0.334334
0.401314	0.604127	4073.583	0.909694	0.4	9.477387	1902	0.0317	0.961962
0.288585	0.716915	4806.276	0.920051	0.3	9.768844	1960	0.032667	0.967968
0.189818	0.814494	5306.126	0.922138	0.2	10.1608	2022	0.0337	0.954955
0.090113	0.912569	6021.729	0.924754	0.1	11.19095	2227	0.037117	0.953954
0.008526	0.991673	8323.387	0.927475	0.01	16.87437	3358	0.055967	0.952953
8.46E-04	0.999167	11739.58	0.926927	0.001	20.72362	4124	0.068733	0.954955
8.61E-05	0.999915	17633.54	0.928542	1.00E-04	30.29648	6029	0.100483	0.950951
7.76E-05	0.999923	18116.37	0.928753	9.00E-05	30.89447	6148	0.102467	0.954955
6.86E-05	0.999932	18777.39	0.928506	8.00E-05	32.18593	6405	0.10675	0.950951
6.01E-05	0.999941	19536.37	0.927918	7.00E-05	32.57286	6482	0.108033	0.953954
5.19E-05	0.999949	20382.09	0.928376	6.00E-05	34.92462	6966	0.1161	0.952953
4.27E-05	0.999958	21002.82	0.927234	5.00E-05	35.69347	7119	0.11865	0.952953
3.48E-05	0.999966	21406.57	0.928894	4.00E-05	36.90955	7360	0.122667	0.947948
2.62E-05	0.999974	23201.12	0.929372	3.00E-05	40.37688	8035	0.133917	0.951952
1.73E-05	0.999983	25067.48	0.929502	2.00E-05	42.63819	8517	0.14195	0.950951
8.51E-06	0.999991	29899.49	0.930946	1.00E-05	51.58794	10266	0.1711	0.94995
7.81E-06	0.999992	30046.65	0.929558	9.00E-06	51.07035	10178	0.169633	0.948949
6.88E-06	0.999993	30608.13	0.930352	8.00E-06	52.32161	10412	0.173533	0.958959
5.91E-06	0.999994	32460.66	0.929185	7.00E-06	55.56281	11057	0.184283	0.954955
5.16E-06	0.999995	33155.83	0.92992	6.00E-06	55.96482	11138	0.185633	0.951952
4.25E-06	0.999996	34170.82	0.930559	5.00E-06	57.47236	11452	0.190867	0.952953
3.41E-06	0.999997	36493.76	0.931565	4.00E-06	61.8593	12310	0.205167	0.953954
2.59E-06	0.999997	38369.11	0.931801	3.00E-06	65.30151	12995	0.216583	0.954955
1.71E-06	0.999998	42692.81	0.932339	2.00E-06	71.24623	14178	0.2363	0.952953
8.76E-07	0.999999	47401.5	0.932028	1.00E-06	80.39698	15999	0.26665	0.94995
0.057476	0.943774	22341.19	0.903684	0.058138	38.44298	7655.654	0.127594	0.92993

这网络的平均准确率和最大准确率都要高些，但更加趋于一个恒定值。

第5个网络

d2（p，fa）-4-4-2-（2*k）,k∈{0,1}

pfa
测试集	0.3	p
	0.7	fa
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时 min/199	最大准确率p-max
0.515643	0.499664	174.9799	0.300491	0.5	2.120603	422	0.007033	0.375375
0.412515	0.594208	4135.432	0.909045	0.4	10.20603	2031	0.03385	0.964965
0.285641	0.718931	4765.95	0.923763	0.3	9.61809	1914	0.0319	0.96997
0.184718	0.818123	5357.095	0.923582	0.2	10.32663	2055	0.03425	0.950951
0.089264	0.912503	6056.724	0.925413	0.1	11.27136	2243	0.037383	0.956957
0.008684	0.991461	8337.327	0.926016	0.01	15.36683	3090	0.0515	0.951952
8.56E-04	0.999158	11779.91	0.928612	0.001	21.0402	4187	0.069783	0.956957
8.61E-05	0.999915	18232.5	0.929085	1.00E-04	31.31156	6231	0.10385	0.94995
7.69E-05	0.999924	18278.48	0.9274	9.00E-05	31.9397	6356	0.105933	0.945946
6.86E-05	0.999932	18963.28	0.928703	8.00E-05	32.08543	6385	0.106417	0.953954
6.05E-05	0.99994	19460.16	0.92826	7.00E-05	33.40704	6649	0.110817	0.954955
5.17E-05	0.999949	19832.13	0.928687	6.00E-05	33.72362	6712	0.111867	0.95996
4.31E-05	0.999958	21033.61	0.928632	5.00E-05	36.23618	7227	0.12045	0.94995
3.38E-05	0.999966	21792.55	0.927908	4.00E-05	37.32161	7427	0.123783	0.951952
2.59E-05	0.999974	22954.92	0.928672	3.00E-05	39.19095	7829	0.130483	0.956957
1.69E-05	0.999983	25568.18	0.92992	2.00E-05	44.03015	8764	0.146067	0.950951
8.65E-06	0.999991	29570.57	0.930066	1.00E-05	53.71859	10692	0.1782	0.951952
7.73E-06	0.999992	30655.57	0.929784	9.00E-06	52.04523	10357	0.172617	0.950951
6.79E-06	0.999993	30476.99	0.930292	8.00E-06	51.45729	10256	0.170933	0.94995
6.09E-06	0.999994	31881.28	0.930458	7.00E-06	54.45729	10853	0.180883	0.955956
5.12E-06	0.999995	33848.89	0.930614	6.00E-06	57.75879	11494	0.191567	0.953954
4.34E-06	0.999996	34395.23	0.930262	5.00E-06	57.96985	11536	0.192267	0.956957
3.42E-06	0.999997	35777.86	0.930951	4.00E-06	60.78392	12096	0.2016	0.950951
2.57E-06	0.999997	37674.54	0.930755	3.00E-06	64.0201	12740	0.212333	0.955956
1.74E-06	0.999998	42115.04	0.931117	2.00E-06	71.68342	14265	0.23775	0.954955
8.64E-07	0.999999	48476.45	0.931846	1.00E-06	81.79397	16292	0.271533	0.960961
0.057609	0.943598	22369.06	0.903859	0.058138	38.6494	7696.269	0.128271	0.932471

将这个网络和第4个网络比较

迭代次数曲线是高度重合的。

平均准确率是高度重合的。两个网络的平均准确率的平均值分别是0.903684和0.903859表明这种算法的精度是有保证的。

两个网络的最大准确率也是高度重合的。

第六个网络

d2（a，fa）-4-4-2-（2*k）,k∈{0,1}

afa
测试集	0.3	a
	0.7	fa
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时 min/199	最大准确率p-max
0.503493	0.503889	212.603	0.574263	0.5	2.150754	443	0.007383	1
0.508644	0.49533	2235.704	0.997681	0.4	5.351759	1065	0.01775	1
0.491317	0.513018	2640.658	0.998672	0.3	5.512563	1097	0.018283	1
0.561021	0.442177	2962.291	0.998788	0.2	6.150754	1224	0.0204	1
0.489822	0.510905	3503.392	0.998461	0.1	7.567839	1521	0.02535	1
0.527219	0.472919	5312.216	0.998798	0.01	11.19095	2227	0.037117	1
0.472417	0.527593	9557.186	0.999251	0.001	18.66332	3714	0.0619	1
0.522609	0.477392	20758.42	0.999512	1.00E-04	35.34171	7033	0.117217	1
0.502513	0.497488	21057.2	0.999406	9.00E-05	35.68342	7132	0.118867	1
0.437195	0.562805	21819.72	0.999371	8.00E-05	36.69347	7302	0.1217	1
0.507537	0.492463	23084.82	0.999447	7.00E-05	39.15075	7808	0.130133	1
0.497488	0.502513	25048.22	0.999502	6.00E-05	42.43216	8444	0.140733	1
0.417093	0.582907	26331.89	0.999532	5.00E-05	44.44724	8845	0.147417	1
0.54271	0.45729	28623.57	0.999633	4.00E-05	48.15578	9599	0.159983	1
0.462314	0.537686	31665.49	0.999567	3.00E-05	53.46231	10639	0.177317	1
0.537687	0.462313	37038.34	0.999567	2.00E-05	62.22111	12397	0.206617	1
0.522613	0.477387	47352.31	0.999593	1.00E-05	79.39698	15801	0.26335	1
0.462312	0.537688	50876.94	0.999733	9.00E-06	85.59799	17034	0.2839	1
0.512563	0.487437	53048.54	0.999638	8.00E-06	88.94472	17715	0.29525	1
0.502513	0.497487	55641.3	0.999517	7.00E-06	92.98492	18519	0.30865	1
0.532663	0.467337	59971.42	0.999683	6.00E-06	100.0653	19913	0.331883	1
0.507538	0.492462	64722.1	0.999668	5.00E-06	108.0854	21509	0.358483	1
0.477387	0.522613	68794.14	0.999688	4.00E-06	115.1759	22936	0.382267	1
0.492462	0.507538	79341.16	0.999743	3.00E-06	132.4171	26352	0.4392	1
0.477387	0.522613	88647.71	0.999658	2.00E-06	147.8995	29447	0.490783	1
0.442211	0.557789	118332.5	0.999723	1.00E-06	196.2814	39075	0.65125	1
0.496567	0.504194	36483.84	0.983004	0.058138	61.57789	12261.19	0.204353	1

 

这个网络的平均准确率和最大准确率都高度的接近1.

6组数据综合

	cp	ca	cfa	pa	pfa	afa
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.5	149.2864	181.6482	181.5377	177.8141	174.9799	212.603
0.4	6191.251	4185.683	4247.367	4073.583	4135.432	2235.704
0.3	10058.88	4950.729	5066.859	4806.276	4765.95	2640.658
0.2	15794.96	5621.844	5560.809	5306.126	5357.095	2962.291
0.1	24295.35	6358.879	6510.085	6021.729	6056.724	3503.392
0.01	59370.36	9141.543	9125.794	8323.387	8337.327	5312.216
0.001	116218.8	13441.74	13343.48	11739.58	11779.91	9557.186
1.00E-04	213160.8	21858.25	21923.32	17633.54	18232.5	20758.42
9.00E-05	212890.8	22514.33	22779.75	18116.37	18278.48	21057.2
8.00E-05	216429.1	22933.27	23230.09	18777.39	18963.28	21819.72
7.00E-05	227994	23904.65	23991.33	19536.37	19460.16	23084.82
6.00E-05	238336.1	25076.15	24863.7	20382.09	19832.13	25048.22
5.00E-05	256301.7	25666.67	25851.49	21002.82	21033.61	26331.89
4.00E-05	272096.3	27387.46	27462.18	21406.57	21792.55	28623.57
3.00E-05	283245.7	30215.88	29699.94	23201.12	22954.92	31665.49
2.00E-05	320385.5	32900.33	33061.28	25067.48	25568.18	37038.34
1.00E-05	362938.1	40569.4	41189.6	29899.49	29570.57	47352.31
9.00E-06	379786.3	41823.16	41336.82	30046.65	30655.57	50876.94
8.00E-06	391093.6	43123.77	42669.6	30608.13	30476.99	53048.54
7.00E-06	396418.2	45766.82	45067.12	32460.66	31881.28	55641.3
6.00E-06	401244.4	47956.51	48391.38	33155.83	33848.89	59971.42
5.00E-06	439625.5	51933.27	53587.13	34170.82	34395.23	64722.1
4.00E-06	480586.6	58216.54	58254.92	36493.76	35777.86	68794.14
3.00E-06	482990.6	67257.81	66089.84	38369.11	37674.54	79341.16
2.00E-06	555404.6	93343.57	89193.42	42692.81	42115.04	88647.71
1.00E-06	621276.4	136177.5	138352.1	47401.5	48476.45	118332.5

可以明显的看到cp的迭代次数是最大的。

由迭代次数可以按从大到小排列

具体顺序cp>afa>ca=cfa>pa=pfa

也就是cp的迭代次数是最多的，而pa的迭代次数是最少的。

 

	cp	ca	cfa	pa	pfa	afa
δ	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave
0.5	0.700283	0.700867	0.701043	0.299395	0.300491	0.574263
0.4	0.978929	0.936233	0.932686	0.909694	0.909045	0.997681
0.3	0.991353	0.914266	0.914236	0.920051	0.923763	0.998672
0.2	0.996972	0.898466	0.895433	0.922138	0.923582	0.998788
0.1	0.993979	0.879789	0.882838	0.924754	0.925413	0.998461
0.01	0.86567	0.860177	0.860982	0.927475	0.926016	0.998798
0.001	0.632869	0.852918	0.856148	0.926927	0.928612	0.999251
1.00E-04	0.534097	0.856253	0.856535	0.928542	0.929085	0.999512
9.00E-05	0.540621	0.854769	0.858783	0.928753	0.9274	0.999406
8.00E-05	0.55042	0.85485	0.858472	0.928506	0.928703	0.999371
7.00E-05	0.534218	0.861882	0.858366	0.927918	0.92826	0.999447
6.00E-05	0.521904	0.858165	0.860816	0.928376	0.928687	0.999502
5.00E-05	0.507533	0.85815	0.856007	0.927234	0.928632	0.999532
4.00E-05	0.523715	0.856746	0.856807	0.928894	0.927908	0.999633
3.00E-05	0.505737	0.856283	0.855977	0.929372	0.928672	0.999567
2.00E-05	0.491366	0.857496	0.857667	0.929502	0.92992	0.999567
1.00E-05	0.499625	0.853557	0.854307	0.930946	0.930066	0.999593
9.00E-06	0.492769	0.854558	0.85077	0.929558	0.929784	0.999733
8.00E-06	0.485304	0.852541	0.853567	0.930352	0.930292	0.999638
7.00E-06	0.48787	0.851057	0.850061	0.929185	0.930458	0.999517
6.00E-06	0.494746	0.851751	0.846173	0.92992	0.930614	0.999683
5.00E-06	0.484474	0.843939	0.851012	0.930559	0.930262	0.999668
4.00E-06	0.472216	0.840373	0.841902	0.931565	0.930951	0.999688
3.00E-06	0.483745	0.83659	0.836304	0.931801	0.930755	0.999743
2.00E-06	0.469817	0.823105	0.823919	0.932339	0.931117	0.999658
1.00E-06	0.467452	0.805584	0.807783	0.932028	0.931846	0.999723

将平均准确率从大到小排列afa>pfa=pa>ca=cfa>cp

其中afa的平均准确率接近1，cp的平均准确率接近50%。

但这6个网络的平均准确率都是趋向一个恒定值的，也就是这6个二分类网络的准确率和δ是无关的。

	cp	Ca	cfa	pa	pfa	afa
δ	最大准确率p-max	最大准确率p-max	最大准确率p-max	最大准确率p-max	最大准确率p-max	最大准确率p-max
0.5	0.736737	0.88989	0.736737	0.334334	0.375375	1
0.4	0.993994	0.972973	0.962963	0.961962	0.964965	1
0.3	1	0.942943	0.955956	0.967968	0.96997	1
0.2	1	0.936937	0.935936	0.954955	0.950951	1
0.1	1	0.923924	0.926927	0.953954	0.956957	1
0.01	1	0.906907	0.910911	0.952953	0.951952	1
0.001	0.978979	0.918919	0.912913	0.954955	0.956957	1
1.00E-04	0.928929	0.911912	0.917918	0.950951	0.94995	1
9.00E-05	0.891892	0.907908	0.903904	0.954955	0.945946	1
8.00E-05	0.905906	0.907908	0.911912	0.950951	0.953954	1
7.00E-05	0.933934	0.921922	0.90991	0.953954	0.954955	1
6.00E-05	0.863864	0.91992	0.91992	0.952953	0.95996	1
5.00E-05	0.84985	0.913914	0.906907	0.952953	0.94995	1
4.00E-05	0.850851	0.914915	0.915916	0.947948	0.951952	1
3.00E-05	0.800801	0.90991	0.905906	0.951952	0.956957	1
2.00E-05	0.798799	0.915916	0.911912	0.950951	0.950951	1
1.00E-05	0.828829	0.90991	0.908909	0.94995	0.951952	1
9.00E-06	0.757758	0.914915	0.906907	0.948949	0.950951	1
8.00E-06	0.747748	0.914915	0.912913	0.958959	0.94995	1
7.00E-06	0.722723	0.924925	0.905906	0.954955	0.955956	1
6.00E-06	0.813814	0.901902	0.905906	0.951952	0.953954	1
5.00E-06	0.754755	0.908909	0.906907	0.952953	0.956957	1
4.00E-06	0.765766	0.897898	0.905906	0.953954	0.950951	1
3.00E-06	0.762763	0.906907	0.904905	0.954955	0.955956	1
2.00E-06	0.724725	0.898899	0.905906	0.952953	0.954955	1
1.00E-06	0.712713	0.892893	0.883884	0.94995	0.960961	1

 

 

最大准确率排序afa>pa=pfa>ca=cfa>cp

而且afa，pa，pfa，ca，cfa的最大准确率都趋向恒定。

也就表明并不是所有的二分类网路的最大分类准确都是100%。

实验参数
学习率 0.1
权重初始化方式
Random rand1 =new Random();
int ti1=rand1.nextInt(98)+1;
tw[a][b]=xx*((double)ti1/100);