用重合图片去计算网络的峰值分类准确率

训练集用mnist的0，1，2，3的前10张图片，做3个二分类网络

(0，1)---4*30*2---(1,0)(0,1)

(0，2)---4*30*2---(1,0)(0,1)

(0，3)---4*30*2---(1,0)(0,1)

用间隔取点的办法把图片化成2*2，测试集与训练集相同。这10张图片不断的循环往复直到收敛，统计与收敛误差对应的分类准确率，并比较。

第一组

(0，1)--- 4*30*2---(1,0)(0,1)

得到的数据

	0--1	2*2	10	二值
迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次	耗时ms/199次
15.1256281	0.5159129	0.61809045	0.41373534	0.5	1.60301508	320
345.693467	0.5	0.91959799	0.08040201	0.48	4.92964824	983
494.346734	0.5	0.9798995	0.0201005	0.46	5.9798995	1190
590.256281	0.5	1	0	0.44	6.93467337	1386
643.894472	0.5	1	0	0.42	6.85427136	1364
695.452261	0.5	1	0	0.4	6.88442211	1370
733.984925	0.57035176	0.96482412	0.1758794	0.38	7.28140704	1455
767.904523	0.72110553	0.88944724	0.55276382	0.36	7.62311558	1517
801.01005	0.72222222	0.88888889	0.55555556	0.34	7.4120603	1480
830.497487	0.72222222	0.88888889	0.55555556	0.32	9.90452261	1972
859.80402	0.73562256	0.86208822	0.6091569	0.3	8.92964824	1777
885.130653	0.79480737	0.74371859	0.84589615	0.28	12.1105528	2410
912.809045	0.83277499	0.66778336	0.99776661	0.26	9.2361809	1838
943.201005	0.83333333	0.66666667	1	0.24	11.0854271	2206
964.547739	0.83333333	0.66666667	1	0.22	9.45226131	1881
998.286432	0.83333333	0.66666667	1	0.2	10.5477387	2099
1028.8593	0.83333333	0.66666667	1	0.18	10.1356784	2017
1056.53769	0.83333333	0.66666667	1	0.16	12.6180905	2511
1095.25126	0.83333333	0.66666667	1	0.14	10.8492462	2159
1140.74874	0.83333333	0.66666667	1	0.12	14.9748744	2980
1192.21608	0.83333333	0.66666667	1	0.1	16.5075377	3285
1251.46231	0.83333333	0.66666667	1	0.08	17.7085427	3524
1328.79899	0.83333333	0.66666667	1	0.06	16.9547739	3375
1452.26633	0.83333333	0.66666667	1	0.04	18.5276382	3687
1697.57286	0.83333333	0.66666667	1	0.02	20.5628141	4092

网络的峰值分类准确率是5/6.其中0的分类准确率是2/3，1的分类准确率是1.

0	0	0	0	1	0	0	0	0	0
	0	1	0	0	0	1	1	1	1
	1	0	1	1	0	1	0	0	1
	1	1	1	1	1	0	1	0	0
	*********
1	0	0	0	0	0	0	0	0	0
	0	0	0	0	0	0	0	0	0
	1	1	1	0	1	0	0	0	0
	1	1	1	1	1	1	1	1	1

观察这组训练集就会发现，0中有3张图片和1中的图片是重合的。两张（0，0，1，1）和1张（0，0，0，1）。如果网络认为（0，0，1，1）和（0，0，0，1）属于1则，0就将有3张图片分类错误，因此0的分类准确率就是2/3，而1的准确率就是1.因为测试集图片数量相同，因此总的分类准确率就是0.5*2/3+0.5*1=5/6=0.8333333

第二组

(0，2)--- 4*30*2---(1,0)(0,1)

得到数据

	0--2	2*2	10	二值	1.55555556
迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次	耗时ms/199次
15.7738693	0.51758794	0.58347292	0.45170296	0.5	1.10050251	219
414.522613	0.5	0.91457286	0.08542714	0.48	3.92462312	781
624.417085	0.5	0.9798995	0.0201005	0.46	5.49246231	1093
761.41206	0.5	1	0	0.44	6.1959799	1233
822.919598	0.49692909	0.98827471	0.00558347	0.42	6.67336683	1328
889.582915	0.61194863	0.66834171	0.55555556	0.4	7.06532663	1406
946.839196	0.61111111	0.66666667	0.55555556	0.38	7.84924623	1562
991.703518	0.61111111	0.66666667	0.55555556	0.36	11.3015075	2249
1036.29648	0.61111111	0.66666667	0.55555556	0.34	12.2361809	2435
1082.33668	0.61111111	0.66666667	0.55555556	0.32	9.95979899	1982
1122.76884	0.61111111	0.66666667	0.55555556	0.3	12.7135678	2530
1168.08543	0.61111111	0.66666667	0.55555556	0.28	9.18090452	1827
1203.45226	0.61111111	0.66666667	0.55555556	0.26	9.41708543	1874
1250.75879	0.61390285	0.66108319	0.5667225	0.24	9.88944724	1968
1293.81407	0.62339475	0.64209939	0.60469012	0.22	10.0452261	1999
1339.22111	0.64349525	0.60189838	0.68509213	0.2	10.4321608	2076
1397.56281	0.66275824	0.56337242	0.76214405	0.18	10.9095477	2171
1461.33166	0.66638749	0.5561139	0.77666108	0.16	11.2211055	2233
1527.54271	0.66666667	0.55555556	0.77777778	0.14	11.8442211	2357
1612.38693	0.66666667	0.55555556	0.77777778	0.12	12.4020101	2468
1720.38693	0.66666667	0.55555556	0.77777778	0.1	13.1809045	2623
1855.70352	0.66666667	0.55555556	0.77777778	0.08	14.201005	2826
2065.91457	0.66666667	0.55555556	0.77777778	0.06	15.6180905	3108
2442.73869	0.66610832	0.55834729	0.77386935	0.04	18.361809	3654
3209.05025	0.69235064	0.61976549	0.76493579	0.02	24.2512563	4826
4150.02513	0.71021776	0.61083194	0.80960357	0.01	31.0703518	6183
4486.68844	0.72724735	0.5985483	0.8559464	0.008	33.4271357	6652
4910.36683	0.75265215	0.5773311	0.9279732	0.006	36.1708543	7198
5627.47236	0.77079844	0.57621441	0.96538247	0.004	41.4321608	8245
7051.64322	0.82607482	0.65214964	1	0.002	51.4773869	10244
8681.41206	0.83333333	0.66666667	1	0.001	63.8693467	12710
9104.8191	0.83333333	0.66666667	1	9.00E-04	66.6984925	13273
9515.74372	0.83333333	0.66666667	1	8.00E-04	69.8341709	13897
9882.79899	0.83333333	0.66666667	1	7.00E-04	72.5075377	14429
10287.7538	0.83333333	0.66666667	1	6.00E-04	74.9346734	14912
10919.7437	0.83333333	0.66666667	1	5.00E-04	79.718593	15864
12153.0603	0.83333333	0.66666667	1	4.00E-04	88.5929648	17630
13265.804	0.83333333	0.66666667	1	3.00E-04	96.9045226	19284
16669.9749	0.83333333	0.66666667	1	2.00E-04	120.603015	24000
22233.1508	0.83333333	0.66666667	1	1.00E-04	161.005025	32040

0与2分类的峰值分类准确率也是5/6.观察这组数据

0	0	0	0	1	0	0	0	0	0
	0	1	0	0	0	1	1	1	1
	1	0	1	1	0	1	0	0	1
	1	1	1	1	1	0	1	0	0
	*********
2	0	0	1	0	0	0	0	0	0
	1	0	1	0	0	0	0	0	0
	1	0	1	1	0	1	1	1	1
	1	1	1	1	1	1	1	1	1

0与2也有3张图片是重合的，两张（0，0，1，1）和1张（0，0，0，1）.因此1个分类准确率是2/3，另一个是1，峰值分类准确率和第一组相同。但是这一组当收敛误差为0.001的时候才达到峰值，而第一组在收敛误差为0.24的时候就已经达到了峰值，也就是第二组比第一组的分类准确率的变化率dp/dt要小的多。

单独比较1和2的数据，1中只有两张图片（0，0，1，1）和1张（0，0，0，1），而2中除了这两张图片还有两张不一样的图片（0，1，1，1）和（1，1，1，1），因此2的复杂度要大于1，因此0和2分类的难度大于0和1分类。因此在收敛误差相同的情况下0与2的分类准确率要小于0和1的分类准确率。

第三组

(0，3)--- 4*30*2--(1,0)(0,1)

得到数据

	0--3	2*2	10	二值
迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次	耗时ms/199次
13.9145729	0.51702959	0.5572306	0.47682859	0.5	1.0201005	203
253.839196	0.5	0.90452261	0.09547739	0.48	2.66834171	531
386.155779	0.5	0.95979899	0.04020101	0.46	3.6080402	718
460.633166	0.5	0.98492462	0.01507538	0.44	4	796
513.974874	0.5	1	0	0.42	4.24120603	859
549.01005	0.5	1	0	0.4	4.55276382	906
581.030151	0.83612507	0.90396427	0.76828587	0.38	4.70854271	937
607.894472	0.88888889	0.88888889	0.88888889	0.36	5.0201005	999
629.964824	0.88888889	0.88888889	0.88888889	0.34	5.10050251	1015
656.829146	0.88888889	0.88888889	0.88888889	0.32	5.33668342	1062
677.542714	0.89056393	0.88888889	0.89223897	0.3	5.57286432	1109
695.994975	0.89977666	0.88888889	0.91066443	0.28	5.5678392	1108
722.135678	0.91485204	0.88888889	0.94081519	0.26	5.80904523	1156
742.035176	0.93579006	0.88888889	0.98269123	0.24	5.8040201	1171
764.015075	0.94249023	0.88888889	0.99609157	0.22	6.04522613	1203
789.341709	0.94416527	0.88888889	0.99944165	0.2	6.35678392	1265
804.356784	0.94444444	0.88888889	1	0.18	6.35175879	1264
828.869347	0.94444444	0.88888889	1	0.16	6.59296482	1312
855.824121	0.94444444	0.88888889	1	0.14	6.82914573	1359
886.577889	0.94444444	0.88888889	1	0.12	7.06030151	1405
924.025126	0.94444444	0.88888889	1	0.1	7.3718593	1467
962.286432	0.94444444	0.88888889	1	0.08	7.61306533	1515
1013.84422	0.94444444	0.88888889	1	0.06	7.92964824	1578
1090.90955	0.94444444	0.88888889	1	0.04	8.47236181	1686
1230.38693	0.94444444	0.88888889	1	0.02	9.49246231	1889

观察这10组数据

0	0	0	0	1	0	0	0	0	0
	0	1	0	0	0	1	1	1	1
	1	0	1	1	0	1	0	0	1
	1	1	1	1	1	0	1	0	0
	*********
3	0	0	0	0	0	0	0	0	0
	0	0	0	0	0	0	0	0	0
	0	0	0	0	0	0	0	0	0
	1	1	1	0	1	1	1	1	1

0和3有1张图片是重合的（0，0，0，1），因此0的分类准确率是8/9，而3的分类准确率是1因此总的分类准确率是0.5*8/9+0.5*1=17/18=0.944

	0--1	0--2	0--3
δ	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave
0.5	0.5159129	0.51758794	0.51702959
0.48	0.5	0.5	0.5
0.46	0.5	0.5	0.5
0.44	0.5	0.5	0.5
0.42	0.5	0.49692909	0.5
0.4	0.5	0.61194863	0.5
0.38	0.57035176	0.61111111	0.83612507
0.36	0.72110553	0.61111111	0.88888889
0.34	0.72222222	0.61111111	0.88888889
0.32	0.72222222	0.61111111	0.88888889
0.3	0.73562256	0.61111111	0.89056393
0.28	0.79480737	0.61111111	0.89977666
0.26	0.83277499	0.61111111	0.91485204
0.24	0.83333333	0.61390285	0.93579006
0.22	0.83333333	0.62339475	0.94249023
0.2	0.83333333	0.64349525	0.94416527
0.18	0.83333333	0.66275824	0.94444444
0.16	0.83333333	0.66638749	0.94444444
0.14	0.83333333	0.66666667	0.94444444
0.12	0.83333333	0.66666667	0.94444444
0.1	0.83333333	0.66666667	0.94444444
0.08	0.83333333	0.66666667	0.94444444
0.06	0.83333333	0.66666667	0.94444444
0.04	0.83333333	0.66610832	0.94444444
0.02	0.83333333	0.69235064	0.94444444
0.001		0.83333333

当收敛误差一致的情况下分类准确率3>1>2,峰值分类准确率3>1=2.因为2的训练集复杂度大于1因此2的分类准确率变化率小于1，因此可以得出重合图片越少，峰值分类准确率越大，分类准确率的变化率dp/dt越大。而训练集的复杂度越大，分类准确率的变化率越小。或者至少分类准确率的变化率与重合图片数量和训练集的复杂度都有关系。