神经网络迭代次数的线性累加现象

神经网络对应每个收敛标准δ都有一个特征的迭代次数n，因此可以用迭代次数曲线n(δ)来评价网络性能。

在《神经网络的迭代次数是一个线性的变量吗？》中得到表达式

 

一个二分类网络分类两个对象A和B，B中有K张图片，B的第K张图片被取样的概率为p,B中第K张图片相对A的迭代次数为n最终的迭代次数等于pn的累加和。

 

本文验算这个表达式是否正确

实验过程

制作一个带一个3*3卷积核的神经网络，测试集是mnist的0和一张图片x，将28*28的图片缩小成9*9，隐藏层30个节点所以网络的结构是

 

这个网络分成两个部分左边的是让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但是让左右两边的权重实现同步更新，实现权重共享。前面大量实验表明这种效果相当于将两个弹性系数为k1，k2的弹簧并联成一个弹性系数为k的弹簧，并且让k1=k2=k/2的过程。

将上图简写成

S（mnist0）81-（con3*3）49-30-2-（1,0）

S（x）81-（con3*3）49-30-2-（0,1）

w=w，w1=w1,w2=w2

进一步简写成

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

这个网络的收敛标准是

if (Math.abs(f2[0]-y[0])< δ  &&  Math.abs(f2[1]-y[1])< δ   )

本文尝试了δ从0.5到1e-6在内的26个值，训练集是mnist0

图片x就是一张二维数组，让x=1.

具体进样顺序
进样顺序	迭代次数
δ=0.5
mnist 0-1	1		判断是否达到收敛
X	2		判断是否达到收敛
梯度下降
mnist 0-2	3		判断是否达到收敛
X	4		判断是否达到收敛
梯度下降
……
mnist 0-4999	9997		判断是否达到收敛
X	9998		判断是否达到收敛
梯度下降
……
如果4999图片内没有达到收敛标准再次从头循环
mnist 0-1	9999		判断是否达到收敛
X	10000		判断是否达到收敛
……
达到收敛标准记录迭代次数，将这个过程重复199次
δ=0.4
……

用这个方法可以得到网络

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

的迭代次数曲线n1。

用同样的办法制作另一个网络

d2（mnist0, x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但让x=0.1.得到迭代次数曲线n0.1

实验数据

在《测量一组对角矩阵的频率和质量》中已经将这两个迭代次数都测出来了

	1	0.1
δ	迭代次数n1	迭代次数n0.1
0.5	17.40201005	17.87437186
0.4	951.2110553	1408.577889
0.3	1144.577889	1720.517588
0.2	1313.633166	1995.110553
0.1	1505.824121	2243.834171
0.01	2362.115578	3001.552764
0.001	4129.020101	4007.532663
1.00E-04	10353.37186	5532.668342
9.00E-05	10653.93467	5683.753769
8.00E-05	11292.43719	6131.934673
7.00E-05	11761.11055	6106.919598
6.00E-05	12657.69347	6014.688442
5.00E-05	13305.44221	6455.321608
4.00E-05	15844.29648	6724.738693
3.00E-05	17291.77387	7055.80402
2.00E-05	20753.56281	7763.41206
1.00E-05	27708.19598	8749.050251
9.00E-06	29358.8593	8879.41206
8.00E-06	30689.87437	9387.150754
7.00E-06	33437.22111	9532.648241
6.00E-06	36960.63819	9957.683417
5.00E-06	40669.92462	10661.56281
4.00E-06	44594.04523	11025.0402
3.00E-06	51522.10553	11653.63317
2.00E-06	67583.53266	13076.9196
1.00E-06	107224.5276	15184.58794

 

现在做第3个网络

d2（mnist0  ; 60% x=1, 40%x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但让x在1和0.1之间随机。

让1与0.1的比例是6：4.

具体进样顺序
进样顺序	迭代次数
δ=0.5
mnist 0-1	1		判断是否达到收敛
60% x=1，40% x=0.1	2		判断是否达到收敛
梯度下降
mnist 0-2	3		判断是否达到收敛
60% x=1，40% x=0.1	4		判断是否达到收敛
梯度下降
……
mnist 0-4999	9997		判断是否达到收敛
60% x=1，40% x=0.1	9998		判断是否达到收敛
梯度下降
……
如果4999图片内没有达到收敛标准再次从头循环
mnist 0-1	9999		判断是否达到收敛
60% x=1，40% x=0.1	10000		判断是否达到收敛
……
达到收敛标准记录迭代次数，将这个过程重复199次
δ=0.4
……

相当于分类两个图片集，一个图片集是mnist的0另一个图片集只有两张图片，两张图片被取样的概率是6：4

得到的数据

1：0.1=6：4
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时min/199次	最大准确率p-max
0.499731669	0.498415314	15.4321608	0.502389014	0.5	829.9849246	165167	2.752783333	0.773049645
0.608582727	0.391220516	1106.678392	0.490625705	0.4	1032.306533	205430	3.423833333	0.976832151
0.712834918	0.28679338	1418.437186	0.576345082	0.3	1117.60804	222422	3.707033333	0.994799054
0.814122794	0.185951639	1466.688442	0.623818858	0.2	1118.422111	222661	3.711016667	0.997163121
0.912685745	0.087285272	1781.492462	0.646250163	0.1	1156.246231	230095	3.834916667	0.995271868
0.991973102	0.008021737	2625.341709	0.638720791	0.01	1313.492462	261385	4.356416667	0.996217494
0.99925116	7.48E-04	4167.311558	0.607593523	0.001	1618.939698	322169	5.369483333	0.998108747
0.999921571	7.86E-05	8358.19598	0.553640543	1.00E-04	2028.286432	403629	6.72715	0.995744681
0.999930909	6.92E-05	8459.060302	0.551466553	9.00E-05	2364.964824	470628	7.8438	0.997635934
0.999937007	6.29E-05	9290.869347	0.535559595	8.00E-05	2486.271357	494768	8.246133333	0.995744681
0.99994614	5.39E-05	9643.371859	0.547686423	7.00E-05	2552.115578	507879	8.46465	0.996690307
0.999954978	4.50E-05	10088.04523	0.546776435	6.00E-05	2647.643216	526881	8.78135	0.993853428
0.999961134	3.88E-05	11241.1809	0.529522316	5.00E-05	2855.462312	568237	9.470616667	0.995744681
0.999968124	3.18E-05	12429.0402	0.536198724	4.00E-05	3066.41206	610216	10.17026667	0.996217494
0.999976997	2.30E-05	13595.53266	0.547436948	3.00E-05	3072.015075	611347	10.18911667	0.993853428
0.999984209	1.58E-05	14639.11055	0.553756965	2.00E-05	3967.502513	789549	13.15915	0.995744681
0.99999235	7.65E-06	21105.31156	0.514109555	1.00E-05	5362.361809	1067111	17.78518333	0.986288416
0.999992956	7.04E-06	23825.72362	0.523351985	9.00E-06	5868.38191	1167816	19.4636	0.997635934
0.999993873	6.13E-06	22955.43216	0.5491999	8.00E-06	4949.914573	985034	16.41723333	0.993853428
0.999994449	5.56E-06	25968.22613	0.525471328	7.00E-06	6241.738693	1242135	20.70225	0.995744681
0.999995305	4.70E-06	26669.97487	0.516017439	6.00E-06	6459.59799	1285476	21.4246	0.991489362
0.999996124	3.87E-06	30357.0603	0.519445929	5.00E-06	6901.41206	1373382	22.8897	0.997163121
0.999996842	3.16E-06	32991.17085	0.532447106	4.00E-06	7681.236181	1528582	25.47636667	0.996217494
0.999997667	2.33E-06	37621.35176	0.52875251	3.00E-06	8458.40201	1683222	28.0537	0.994326241
0.99999837	1.63E-06	49854.86935	0.542544876	2.00E-06	11146.78392	2218227	36.97045	0.995744681
0.999999185	8.15E-07	74084.86935	0.528457892	1.00E-06	16062.72362	3196485	53.27475	0.995271868

所以现在有了3个迭代次数分别是

x=1	n1
x=0.1	n0.1
x=1||x=0.1	n1-0.1

验算n1-0.1与n1和n0.1之间的关系

	1	0.1	理论值	实测值	理论值/实测值
δ	迭代次数n1	迭代次数n0.1	0.6*n1+0.4*n0.1
0.5	17.40201005	17.87437186	17.59095477	15.4321608	1.139889287
0.4	951.2110553	1408.577889	1134.157789	1106.678392	1.024830517
0.3	1144.577889	1720.517588	1374.953769	1418.437186	0.969344136
0.2	1313.633166	1995.110553	1586.224121	1466.688442	1.081500389
0.1	1505.824121	2243.834171	1801.028141	1781.492462	1.010965906
0.01	2362.115578	3001.552764	2617.890452	2625.341709	0.997161796
0.001	4129.020101	4007.532663	4080.425126	4167.311558	0.979150483
1.00E-04	10353.37186	5532.668342	8425.090452	8358.19598	1.008003458
9.00E-05	10653.93467	5683.753769	8665.862312	8459.060302	1.024447398
8.00E-05	11292.43719	6131.934673	9228.236181	9290.869347	0.993258632
7.00E-05	11761.11055	6106.919598	9499.434171	9643.371859	0.985073925
6.00E-05	12657.69347	6014.688442	10000.49146	10088.04523	0.991321037
5.00E-05	13305.44221	6455.321608	10565.39397	11241.1809	0.939882923
4.00E-05	15844.29648	6724.738693	12196.47337	12429.0402	0.981288432
3.00E-05	17291.77387	7055.80402	13197.38593	13595.53266	0.970714885
2.00E-05	20753.56281	7763.41206	15557.50251	14639.11055	1.062735503
1.00E-05	27708.19598	8749.050251	20124.53769	21105.31156	0.953529524
9.00E-06	29358.8593	8879.41206	21167.0804	23825.72362	0.888412908
8.00E-06	30689.87437	9387.150754	22168.78492	22955.43216	0.965731543
7.00E-06	33437.22111	9532.648241	23875.39196	25968.22613	0.919407889
6.00E-06	36960.63819	9957.683417	26159.45628	26669.97487	0.980857927
5.00E-06	40669.92462	10661.56281	28666.5799	30357.0603	0.944313435
4.00E-06	44594.04523	11025.0402	31166.44322	32991.17085	0.944690425
3.00E-06	51522.10553	11653.63317	35574.71658	37621.35176	0.945599106
2.00E-06	67583.53266	13076.9196	45780.88744	49854.86935	0.918283169
1.00E-06	107224.5276	15184.58794	70408.55176	74084.86935	0.950376944

 

将理论值和实测值画成图

 

从数值看

这个公式还是符合的很好的。

 

表明这个关系是成立的。

实验参数

学习率 0.1

权重初始化方式

Random rand1 =new Random();

int ti1=rand1.nextInt(98)+1;

int xx=1;

if(ti1%2==0)

{ xx=-1;}

tw[a][b]=xx*((double)ti1/x);

第一层第二层和卷积核的权重的初始化的x分别为1000,1000,200

 

本文原始数据比较多有感兴趣的朋友可以到我的资源里下载