神经网络调参训练集噪音比例对网络性能的影响

这次用于实验训练集噪音比例对网络性能的影响，网络结构81*60*2，训练集用的是mnist的训练集的0和1，测试集用的mnist的测试集的0和1，学习率固定位0.1，batchsize=20，试验了训练集噪音比例从0%,5%，10%，15%，20%，30%，40%，50%的网络,得到的结果:

网络结构	81*60*2	81*60*2	81*60*2	81*60*2	81*60*2	81*60*2	81*60*2	81*60*2
训练集	全样品集	全样品集	全样品集	全样品集	全样品集	全样品集	全样品集	全样品集
测试集	全测试集	全测试集	全测试集	全测试集	全测试集	全测试集	全测试集	全测试集
学习率	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1
batchsize	z=20	z=20	z=20	z=20	z=20	z=20	z=20	z=20
*	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000
平均值	0.894205	0.870719	0.881031	0.879092	0.858657	0.854163	0.838032	0.676301
标准差	0.019669	0.035999	0.02457	0.014483	0.029322	0.066959	0.06047	0.159156
最大值	0.913907	0.905866	0.91438	0.895932	0.885998	0.9035	0.890728	0.86755
训练集噪音比例	zx=0	zx=5	zx=10	zx=15	zx=20	zx=30	zx=40	zx=50
测试集噪音比例	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0

从结果看训练集加噪音不如不加，最好的情况是加10%噪音得到的结果接近不加噪音的0.89，这个结果表明甚至训练集只有两张图片的情况下也可以通过加随机加10%噪音的方式构造一个训练集用于训练。噪音比例甚至可以达到40%这时的网络性能也超过80%的正确率，表明这个网络的泛化能力很强。

这次实验又重新测定了batchsize对网络性能的影响，用的办法是随机20组权重和随机20组训练样本，与《神经网络调参batch数对网络性能影响》中随机一组权重然后随机500组样本不同，这个的方法应该更反应网络性能。

网络结构	81*60*2	81*60*2	81*60*2	81*60*2	81*60*2	81*60*2	81*60*2	81*60*2
训练集	全样品集	全样品集	全样品集	全样品集	全样品集	全样品集	全样品集	全样品集
测试集	全测试集	全测试集	全测试集	全测试集	全测试集	全测试集	全测试集	全测试集
学习率	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1
batchsize	z=2	z=5	z=10	z=20	z=30	z=50	z=100	z=200
*	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000
平均值	0.7671	0.793685	0.87843	0.894205	0.90097	0.904163	0.912157	0.913411
标准差	0.096811	0.096647	0.030423	0.019669	0.014304	0.00859	0.004921	0.004491
最大值	0.884106	0.901608	0.914853	0.913907	0.917219	0.915799	0.92053	0.919584
训练集噪音比例	zx=0	zx=0	zx=0	zx=0	zx=0	zx=0	zx=0	zx=0
测试集噪音比例	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0

得到的结果随着batchsize的增大正确率的平均值也在增加，但是到batchsize=20正确率达到0.89以后增速就明显下降。因为batchsize太大的计算很慢，所以只算过一次batchsize=3000的数据，正确率是0.917，变化不大。同时标准差随着batchsize的增加同时在减小又一次表明batchsize大一些网络的性能更稳定。

具体数据训练集噪音比例数据

81*60*2	0.794702	0	81*60*2	0.859035	0	81*60*2	0.843425	0	81*60*2	0.787133	0
全样品集	0.820246	1	全样品集	0.848155	1	全样品集	0.87228	1	全样品集	0.831126	1
全测试集	0.891675	2	全测试集	0.876537	2	全测试集	0.881741	2	全测试集	0.863292	2
ret=0.1	0.88789	3	ret=0.1	0.847209	3	ret=0.1	0.868496	3	ret=0.1	0.873699	3
z=20	0.9035	4	z=20	0.897824	4	z=20	0.884579	4	z=20	0.884579	4
it=10000	0.899243	5	it=10000	0.859981	5	it=10000	0.875591	5	it=10000	0.874645	5
average	0.905866	6	average	0.897824	6	average	0.890255	6	average	0.885998	6
0.870719	0.848155	7	0.881031	0.89877	7	0.879092	0.888836	7	0.858657	0.846736	7
stdevp	0.886944	8	stdevp	0.91438	8	stdevp	0.889782	8	stdevp	0.884106	8
0.035999	0.868969	9	0.02457	0.910596	9	0.014483	0.895932	9	0.029322	0.855251	9
max	*	*	max	*	*	max	*	*	max	*	*
0.905866	*	*	0.91438	*	*	0.895932	*	*	0.885998	*	*
*	*	*	*	*	*	*	*
zx=5	*	*	zx=10	*	*	zx=15	*	*	zx=20	*	*
zy=0	*	*	zy=0	*	*	zy=0	*	*	zy=0	*	*

81*60*2	0.678808	0	81*60*2	0.692999	0	81*60*2	0.790445	0
全样品集	0.783822	1	全样品集	0.842479	1	全样品集	0.848155	1
全测试集	0.859508	2	全测试集	0.864238	2	全测试集	0.86755	2
ret=0.1	0.888836	3	ret=0.1	0.84106	3	ret=0.1	0.800378	3
z=20	0.895459	4	z=20	0.755913	4	z=20	0.838221	4
it=10000	0.879849	5	it=10000	0.874645	5	it=10000	0.463576	5
average	0.867077	6	average	0.859981	6	average	0.539262	6
0.854163	0.889309	7	0.838032	0.885998	7	0.676301	0.615421	7
stdevp	0.9035	8	stdevp	0.87228	8	stdevp	0.536424	8
0.066959	0.895459	9	0.06047	0.890728	9	0.159156	0.463576	9
max	*	*	max	*	*	max	*	*
0.9035	*	*	0.890728	*	*	0.86755	*	*
*	*	*	*	*	*
zx=30	*	*	zx=40	*	*	zx=50	*	*
zy=0	*	*	zy=0	*	*	zy=0	*	*

新的batchsize对网络性能影响的数据

81*60*2	0.536897	0	81*60*2	0.582308	0	81*60*2	0.840114	0
全样品集	0.652791	1	全样品集	0.661779	1	全样品集	0.875591	1
全测试集	0.8614	2	全测试集	0.697729	2	全测试集	0.855251	2
ret=0.1	0.747398	3	ret=0.1	0.758751	3	ret=0.1	0.877483	3
z=2	0.811258	4	z=5	0.858562	4	z=10	0.837748	4
it=10000	0.700095	5	it=10000	0.87843	5	it=10000	0.896878	5
average	0.763482	6	average	0.618259	6	average	0.894986	6
0.7671	0.729423	7	0.793685	0.876537	7	0.87843	0.88316	7
stdevp	0.684957	8	stdevp	0.887417	8	stdevp	0.779565	8
0.096811	0.853832	9	0.096647	0.805109	9	0.030423	0.890255	9
max	0.822138	10	max	0.730369	10	max	0.881268	10
0.884106	0.644276	11	0.901608	0.866131	11	0.914853	0.888363	11
*	0.745033	12	*	0.859981	12	*	0.895932	12
zx=0	0.879849	13	zx=0	0.666036	13	zx=0	0.88316	13
zy=0	0.762062	14	zy=0	0.840587	14	zy=0	0.865184	14
*	0.653264	15	*	0.901608	15	*	0.908231	15
*	0.884106	16	*	0.815989	16	*	0.900189	16
*	0.877483	17	*	0.860454	17	*	0.895459	17
*	0.85667	18	*	0.840114	18	*	0.914853	18
*	0.875591	19	*	0.86755	19	*	0.90492	19

81*60*2	0.829234	0	81*60*2	0.86755	0	81*60*2	0.899243	0
全样品集	0.891202	1	全样品集	0.872753	1	全样品集	0.884579	1
全测试集	0.905393	2	全测试集	0.9035	2	全测试集	0.901135	2
ret=0.1	0.900662	3	ret=0.1	0.906812	3	ret=0.1	0.905393	3
z=20	0.888363	4	z=30	0.905393	4	z=50	0.893567	4
it=10000	0.866604	5	it=10000	0.896878	5	it=10000	0.907758	5
average	0.900189	6	average	0.902081	6	average	0.912015	6
0.894205	0.893567	7	0.90097	0.904447	7	0.904163	0.90492	7
stdevp	0.903974	8	stdevp	0.915326	8	stdevp	0.911542	8
0.019669	0.871334	9	0.014304	0.892621	9	0.00859	0.91438	9
max	0.906339	10	max	0.911069	10	max	0.91438	10
0.913907	0.907285	11	0.917219	0.911542	11	0.915799	0.889782	11
*	0.910596	12	*	0.913907	12	*	0.901135	12
zx=0	0.912488	13	zx=0	0.917219	13	zx=0	0.905866	13
zy=0	0.901135	14	zy=0	0.906812	14	zy=0	0.915799	14
*	0.906339	15	*	0.907758	15	*	0.908231	15
*	0.877483	16	*	0.892148	16	*	0.907758	16
*	0.913907	17	*	0.87228	17	*	0.913434	17
*	0.904447	18	*	0.905393	18	*	0.89404	18
*	0.893567	19	*	0.913907	19	*	0.898297	19

81*60*2	0.9035	0	81*60*2	0.904447	0
全样品集	0.908231	1	全样品集	0.906812	1
全测试集	0.90965	2	全测试集	0.911069	2
ret=0.1	0.910596	3	ret=0.1	0.908704	3
z=100	0.903974	4	z=200	0.908704	4
it=10000	0.913434	5	it=10000	0.916746	5
average	0.90965	6	average	0.908231	6
0.912157	0.917219	7	0.913411	0.913434	7
stdevp	0.912015	8	stdevp	0.917219	8
0.004921	0.913434	9	0.004491	0.917219	9
max	0.913434	10	max	0.916272	10
0.92053	0.908231	11	0.919584	0.907758	11
*	0.907758	12	*	0.918165	12
zx=0	0.918165	13	zx=0	0.915799	13
zy=0	0.92053	14	zy=0	0.912961	14
*	0.916272	15	*	0.913434	15
*	0.919111	16	*	0.919584	16
*	0.905866	17	*	0.91438	17
*	0.91438	18	*	0.918165	18
*	0.917692	19	*	0.919111	19