训练集数量对神经网络光谱的影响

(mnist 0 ,2)---81*30*2---(1,0)(0,1)

分类mnist的0和2。让训练集的数量n分别等于5000,4500,4000,3500,3000,2500,2000,1500,1000,500,400,300,200,100,50,40,30,20,10,5,4,3,2共22个值。观察n是如何影响迭代次数的分布的。

 

让收敛标准δ等于1e-5，数据已经在<神经网络训练集量最少可以是多少个？>里算出来了。

首先观察n=5000的图片

让网络在1e-5处收敛了199次，只有12个不同的迭代次数，其中7604出现了83次。出现了高度简并的现象。

无论n怎么变化都有这种简并现象吗？

当n=2时，有199个不同的迭代次数，迭代次数没有简并现象。

 

当n=3时，同样有199个不同的迭代次数，没有简并。

当n=4时，有195个不同的迭代次数，其中179751，181035，188895，190863都出现了两次，第一次出现了简并的现象。

当n=5时，有197个不重复的值，174435，175267出现了两次。

当n=10时，有185个不同的值，其中43305和47661个出现了3次，规律明显当n增大时简并度提高。

当n=20时，有167个不同的值。

当n=30时，有141个不同的值。

当n=40时，有102个不同的值。其中13270出现了10次。

当n=50时，有71个不同的值。

当n=100时，有27个不同的值，

7086	7284	7482	7680	7878	8076	8274	8472	8670	8868	9066	9264	9462	9660	9858	10056	10254	10452	10650	10848	11046	11244	11442	11640	12828	13224	15798
	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	1188	396	2574

这27个值的差值都是198的倍数。

当n=200时，只有14个不同的值

4668	4682	5066	5080	5464	5478	5862	5876	6260	6274	6658	6672	7056	7454
	14	384	14	384	14	384	14	384	14	384	14	384	398

这14个值只有14，384，398这3个间距。

当n=300时，只有14个不同的值，

5088	5672	5686	6270	6284	6868	6882	7094	7466	7480	8064	8078	8290	8662
	584	14	584	14	584	14	212	372	14	584	14	212	372

出现了14，212，372，584共4个间距

当n=400时，有11个不同的值，

当n=500时，有18个不同的值。

当n=1000时，有12个不同的值

当n=1500时，有17个不同的值

当n=2000时，有16个不同的值。

当n=2500时，有13个不同的值

当n=3000时，有14个不同的值

当n=3500时，有10个不同的值

当n=4000时，有7个不同的值

当n=4500时，有13个不同的值。

 

统计迭代次数不同值的数量对n的变化

n	5000	4500	4000	3500	3000	2500	2000	1500	1000	500	400	300	200	100	50	40	30	20	10	5	4	3	2
不同值的数量	12	13	7	10	14	13	16	17	12	18	11	14	14	27	71	102	141	167	185	197	195	199	199

 

很明显10<=n<=200,是迭代次数的分布的过度区间，当n>200个以后迭代次数不同值就维持在约13个，在前文<神经网络训练集量最少可以是多少个？>已经证实5000到200随着n的减小迭代次数减小，n=200应该是保持这个网络基本特征的最小n值。

而光谱的等距变化区间就出现在过度区间，因此神经网络光谱随着n的增加，由等距变化变为不等距变化。