用矩阵点积的办法构造神经网络的迭代次数1：0.6：0.1=1：1：1

每个神经网络对应每个收敛标准δ都有一个特征的迭代次数n，因此可以用迭代次数曲线n(δ)来评价网络性能。

一个二分类网络分类两个对象A和B，B中有K张图片，B的第i张图片被取样的概率为pi,B中第i张图片相对A的迭代次数为ni最终的迭代次数nt等于pi*ni的累加和。

由此可以构造两个矩阵一个是随机矩阵PJ

PJ表明图片集B中第i张图片被抽样到的概率

和矩阵NJ

NJ表明图片集B中第i张图片相对A的迭代次数

总的迭代次数nt等于矩阵PJ和NJ的点积

为了验证这个关系构造了等式

也就是B中有3张图片，让三张图片被抽样到的概率相等。

 

本文验算这个表达式是否正确

实验过程

首先用实验的方法测量n1

制作一个带一个3*3卷积核的神经网络，测试集是mnist的0和一张图片x，将28*28的图片缩小成9*9，隐藏层30个节点所以网络的结构是

 

这个网络分成两个部分左边的是让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但是让左右两边的权重实现同步更新，实现权重共享。前面大量实验表明这种效果相当于将两个弹性系数为k1，k2的弹簧并联成一个弹性系数为k的弹簧，并且让k1=k2=k/2的过程。

将上图简写成

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

这个网络的收敛标准是

if (Math.abs(f2[0]-y[0])< δ  &&  Math.abs(f2[1]-y[1])< δ   )

本文尝试了δ从0.5到1e-6在内的26个值，训练集是mnist0

图片x就是一张二维数组，让x=1.

具体进样顺序
进样顺序	迭代次数
δ=0.5
mnist 0-1	1		判断是否达到收敛
X	2		判断是否达到收敛
梯度下降
mnist 0-2	3		判断是否达到收敛
X	4		判断是否达到收敛
梯度下降
……
mnist 0-4999	9997		判断是否达到收敛
X	9998		判断是否达到收敛
梯度下降
……
如果4999图片内没有达到收敛标准再次从头循环
mnist 0-1	9999		判断是否达到收敛
X	10000		判断是否达到收敛
……
达到收敛标准记录迭代次数，将这个过程重复199次
δ=0.4
……

用这个方法可以得到网络

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

的迭代次数曲线n1。

 

第二步测量n0.6

用同样的办法制作另一个网络

d2（mnist0, x=0.6）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但让x=0.6.得到迭代次数曲线n0.6

 

第三步测量n0.1

用同样的办法制作另一个网络

d2（mnist0, x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但让x=0.1.得到迭代次数曲线n0.1

 

实验数据

在《测量一组对角矩阵的频率和质量》中已经将这3个迭代次数都测出来了

	1	0.6	0.1
δ	迭代次数n	迭代次数n	迭代次数n
0.5	17.40201005	18.7839196	17.87437186
0.4	951.2110553	1117.532663	1408.577889
0.3	1144.577889	1415.271357	1720.517588
0.2	1313.633166	1623	1995.110553
0.1	1505.824121	1821.562814	2243.834171
0.01	2362.115578	2582.668342	3001.552764
0.001	4129.020101	3895.211055	4007.532663
1.00E-04	10353.37186	7057.452261	5532.668342
9.00E-05	10653.93467	7175.934673	5683.753769
8.00E-05	11292.43719	7392.497487	6131.934673
7.00E-05	11761.11055	8186.427136	6106.919598
6.00E-05	12657.69347	8620.758794	6014.688442
5.00E-05	13305.44221	9001.532663	6455.321608
4.00E-05	15844.29648	9694.778894	6724.738693
3.00E-05	17291.77387	10665.48241	7055.80402
2.00E-05	20753.56281	11822.9397	7763.41206
1.00E-05	27708.19598	15788.16583	8749.050251
9.00E-06	29358.8593	15766.86935	8879.41206
8.00E-06	30689.87437	16904.54774	9387.150754
7.00E-06	33437.22111	18446.72864	9532.648241
6.00E-06	36960.63819	18505.60302	9957.683417
5.00E-06	40669.92462	19916.76884	10661.56281
4.00E-06	44594.04523	20718.10553	11025.0402
3.00E-06	51522.10553	26158.03518	11653.63317
2.00E-06	67583.53266	26274.55779	13076.9196
1.00E-06	107224.5276	37806.51759	15184.58794

现在做第4个网络

d2（mnist0  ; 33.33% x=1, 33.33%x=0.6，33.33%x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但让x在1，0.6，0.1之间随机。

让1：0.6：0.1的比例是1：1：1.

具体进样顺序
进样顺序	迭代次数
δ=0.5
mnist 0-1	1		判断是否达到收敛
33.33% x=1，33.33% x=0.6，33.33% x=0.1	2		判断是否达到收敛
梯度下降
mnist 0-2	3		判断是否达到收敛
33.33% x=1，33.33% x=0.6，33.33% x=0.1	4		判断是否达到收敛
梯度下降
……
mnist 0-4999	9997		判断是否达到收敛
33.33% x=1，33.33% x=0.6，33.33% x=0.1	9998		判断是否达到收敛
梯度下降
……
如果4999图片内没有达到收敛标准再次从头循环
mnist 0-1	9999		判断是否达到收敛
33.33% x=1，33.33% x=0.6，33.33% x=0.1	10000		判断是否达到收敛
……
达到收敛标准记录迭代次数，将这个过程重复199次
δ=0.4
……

相当于分类两个图片集，一个图片集是mnist的0另一个图片集只有三张图片，三张图片被取样的概率是1:1:1

得到的数据

用0和x二分类
1：0.6：0.1=1：1：1
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时min/199次	最大准确率p-max
0.500154925	0.501585276	16.4321608	0.505957684	0.5	794.9346734	158208	2.6368	0.781560284
0.609011221	0.391362551	1127.552764	0.481050643	0.4	974.9346734	194028	3.2338	0.901654846
0.714350091	0.285408928	1397.331658	0.58525488	0.3	1020.864322	203152	3.385866667	0.995744681
0.815157448	0.184737316	1581	0.645950794	0.2	1053.824121	209711	3.495183333	0.99858156
0.913633704	0.086425773	1778.035176	0.651574658	0.1	1088.075377	216527	3.608783333	0.997163121
0.992158629	0.007834828	2633.482412	0.661171104	0.01	1226.879397	244165	4.069416667	0.997635934
0.999259688	7.40E-04	4070.829146	0.593886691	0.001	1465.135678	291562	4.859366667	0.998108747
0.999926055	7.39E-05	7549.361809	0.561754398	1.00E-04	2041.457286	406266	6.7711	0.994326241
0.999932673	6.71E-05	8045.884422	0.568585243	9.00E-05	2119.165829	421716	7.0286	0.997163121
0.999940845	5.92E-05	8205.291457	0.552469202	8.00E-05	2138.552764	425577	7.09295	0.997163121
0.999945526	5.44E-05	8975.321608	0.553949416	7.00E-05	2274.859296	452699	7.544983333	0.994326241
0.999952729	4.73E-05	9572.648241	0.548662936	6.00E-05	2020.763819	402136	6.702266667	0.998108747
0.999962313	3.76E-05	9745.703518	0.549793887	5.00E-05	2460.839196	489709	8.161816667	0.987234043
0.999969451	3.05E-05	10831.36181	0.551411906	4.00E-05	2634.407035	524248	8.737466667	0.995744681
0.999977419	2.26E-05	12239.86432	0.545982869	3.00E-05	2829.522613	563076	9.3846	0.996690307
0.999985136	1.49E-05	12683.34171	0.568404671	2.00E-05	2937.442211	584551	9.742516667	0.998108747
0.999992339	7.66E-06	17797.66332	0.564460601	1.00E-05	3788.673367	753947	12.56578333	0.997635934
0.999993191	6.82E-06	18891.29146	0.553564513	9.00E-06	3421.296482	680854	11.34756667	0.996690307
0.999993866	6.12E-06	18053.13065	0.568870356	8.00E-06	3813.798995	758946	12.6491	0.997635934
0.999994712	5.29E-06	20724.70854	0.531960037	7.00E-06	4226.748744	841139	14.01898333	0.992434988
0.999995376	4.62E-06	22732.40704	0.538610309	6.00E-06	4630.934673	921556	15.35926667	0.997635934
0.999996217	3.78E-06	23539.19095	0.540104779	5.00E-06	4390.59799	873737	14.56228333	0.994326241
0.999996903	3.10E-06	26331.90452	0.530458439	4.00E-06	5423.693467	1079331	17.98885	0.996690307
0.999997724	2.27E-06	30580.90955	0.543281419	3.00E-06	5887.869347	1171718	19.52863333	0.996690307
0.999998466	1.54E-06	32664.11558	0.544578685	2.00E-06	6201.030151	1234005	20.56675	0.992907801
0.999999193	8.05E-07	54834.03518	0.525661404	1.00E-06	9782.688442	1946756	32.44593333	0.989598109

所以现在有了4个迭代次数分别是

x=1	n1
x=0.6	n0.6
x=0.1	n0.1
0.3333x=1||0.3333x=0.6||0.3333x=0.1	n1-0.6-0.1

验算这4个值之间的关系

	1	0.6	0.1	理论值	实测值	理论值/实测值
δ	迭代次数n	迭代次数n	迭代次数n	（n0.1+n0.6+n1)/3
0.5	17.40201005	18.7839196	17.87437186	18.0201005	16.4321608	1.096636086
0.4	951.2110553	1117.532663	1408.577889	1159.107203	1127.552764	1.027984889
0.3	1144.577889	1415.271357	1720.517588	1426.788945	1397.331658	1.021081099
0.2	1313.633166	1623	1995.110553	1643.914573	1581	1.039794164
0.1	1505.824121	1821.562814	2243.834171	1857.073702	1778.035176	1.044452735
0.01	2362.115578	2582.668342	3001.552764	2648.778894	2633.482412	1.005808462
0.001	4129.020101	3895.211055	4007.532663	4010.58794	4070.829146	0.985201736
1.00E-04	10353.37186	7057.452261	5532.668342	7647.830821	7549.361809	1.013043356
9.00E-05	10653.93467	7175.934673	5683.753769	7837.874372	8045.884422	0.974147025
8.00E-05	11292.43719	7392.497487	6131.934673	8272.289782	8205.291457	1.008165258
7.00E-05	11761.11055	8186.427136	6106.919598	8684.819095	8975.321608	0.967633192
6.00E-05	12657.69347	8620.758794	6014.688442	9097.713568	9572.648241	0.950386282
5.00E-05	13305.44221	9001.532663	6455.321608	9587.432161	9745.703518	0.983759884
4.00E-05	15844.29648	9694.778894	6724.738693	10754.60469	10831.36181	0.992913438
3.00E-05	17291.77387	10665.48241	7055.80402	11671.0201	12239.86432	0.953525284
2.00E-05	20753.56281	11822.9397	7763.41206	13446.63819	12683.34171	1.060181023
1.00E-05	27708.19598	15788.16583	8749.050251	17415.13735	17797.66332	0.978506956
9.00E-06	29358.8593	15766.86935	8879.41206	18001.71357	18891.29146	0.952910689
8.00E-06	30689.87437	16904.54774	9387.150754	18993.85762	18053.13065	1.0521088
7.00E-06	33437.22111	18446.72864	9532.648241	20472.19933	20724.70854	0.987816031
6.00E-06	36960.63819	18505.60302	9957.683417	21807.97487	22732.40704	0.959334172
5.00E-06	40669.92462	19916.76884	10661.56281	23749.41876	23539.19095	1.00893097
4.00E-06	44594.04523	20718.10553	11025.0402	25445.73032	26331.90452	0.966345989
3.00E-06	51522.10553	26158.03518	11653.63317	29777.92462	30580.90955	0.973742281
2.00E-06	67583.53266	26274.55779	13076.9196	35645.00335	32664.11558	1.091258793
1.00E-06	107224.5276	37806.51759	15184.58794	53405.21106	54834.03518	0.973942751

 

从数值看

这个公式还是符合的很好的。

表明神经网络的迭代次数可以被看作是一个线性变量可以用概率矩阵和迭代次数矩阵的点积来计算。

 

实验参数

学习率 0.1

权重初始化方式

Random rand1 =new Random();

int ti1=rand1.nextInt(98)+1;

int xx=1;

if(ti1%2==0)

{ xx=-1;}

tw[a][b]=xx*((double)ti1/x);

第一层第二层和卷积核的权重的初始化的x分别为1000,1000,200

0.1
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时min/199次	最大准确率p-max
0.498913	0.4988	17.87437186	0.516198011	0.5	711.7789	141644	2.360733	0.980142
0.609699	0.390362	1408.577889	0.526873136	0.4	936.4472	186353	3.105883	0.992908
0.714834	0.28527	1720.517588	0.681069651	0.3	1005.05	200008	3.333467	0.997636
0.816705	0.182972	1995.110553	0.806410302	0.2	1030.407	205058	3.417633	0.997163
0.914477	0.085512	2243.834171	0.815267829	0.1	1073.216	213575	3.559583	0.997163
0.99262	0.007391	3001.552764	0.772726517	0.01	1195.271	237867	3.96445	0.996217
0.999292	7.08E-04	4007.532663	0.699901398	0.001	1362.05	271052	4.517533	0.996217
0.999931	6.92E-05	5532.668342	0.670097533	1.00E-04	1613.925	321179	5.352983	0.997163
0.999941	5.85E-05	5683.753769	0.624410468	9.00E-05	1638.111	325989	5.43315	0.998109
0.999948	5.21E-05	6131.934673	0.628342659	8.00E-05	1712.166	340723	5.678717	0.998109
0.999953	4.72E-05	6106.919598	0.621794552	7.00E-05	1747.035	347675	5.794583	0.997163
0.999961	3.86E-05	6014.688442	0.660669779	6.00E-05	1731.799	344628	5.7438	0.997163
0.999967	3.31E-05	6455.321608	0.644967153	5.00E-05	1799.472	358095	5.96825	0.998109
0.999973	2.68E-05	6724.738693	0.620573316	4.00E-05	1847.055	367609	6.126817	0.997636
0.99998	1.96E-05	7055.80402	0.640904285	3.00E-05	1904.673	379030	6.317167	0.997636
0.999986	1.36E-05	7763.41206	0.63548	2.00E-05	2063.276	410593	6.843217	0.997636
0.999993	6.88E-06	8749.050251	0.621000986	1.00E-05	2808.357	558880	9.314667	0.997636
0.999994	6.20E-06	8879.41206	0.624534018	9.00E-06	2812.92	559771	9.329517	0.99669
0.999994	5.60E-06	9387.150754	0.632904475	8.00E-06	2287.397	455224	7.587067	0.997636
0.999995	4.59E-06	9532.648241	0.609351723	7.00E-06	2942.317	585537	9.75895	0.997163
0.999996	3.95E-06	9957.683417	0.618418333	6.00E-06	3023.276	601648	10.02747	0.99669
0.999997	3.33E-06	10661.56281	0.585715813	5.00E-06	3185.151	633860	10.56433	0.996217
0.999997	2.67E-06	11025.0402	0.613820877	4.00E-06	3263.668	649470	10.8245	0.998109
0.999998	1.97E-06	11653.63317	0.59831783	3.00E-06	3388.819	674375	11.23958	0.998109
0.999999	1.40E-06	13076.9196	0.631728382	2.00E-06	3393.688	675344	11.25573	0.998109
0.999999	6.81E-07	15184.58794	0.620981978	1.00E-06	4139.754	823826	13.73043	0.997163

xx0
0.6
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时min/199次	最大准确率p-max
0.501251	0.496685	18.78392	0.502121	0.5	690.3518	137392	2.289867	0.864303
0.608328	0.391587	1117.533	0.477078	0.4	528.3317	105146	1.752433	0.913948
0.71453	0.285302	1415.271	0.548513	0.3	902.2764	179560	2.992667	0.976832
0.814621	0.185598	1623	0.621562	0.2	935.6935	186212	3.103533	0.997636
0.913459	0.086546	1821.563	0.626936	0.1	968.6683	192770	3.212833	0.997163
0.992169	0.007831	2582.668	0.638065	0.01	1091.97	217308	3.6218	0.994326
0.999265	7.34E-04	3895.211	0.57965	0.001	1306.281	259954	4.332567	0.998582
0.999925	7.46E-05	7057.452	0.535956	1.00E-04	1823.095	362802	6.0467	0.993853
0.999934	6.60E-05	7175.935	0.543583	9.00E-05	1842.191	366601	6.110017	0.997636
0.999939	6.11E-05	7392.497	0.546869	8.00E-05	1881.804	374488	6.241467	0.996217
0.999947	5.26E-05	8186.427	0.539777	7.00E-05	2011.653	400326	6.6721	0.998109
0.999954	4.58E-05	8620.759	0.521677	6.00E-05	2157.844	429422	7.157033	0.937589
0.999961	3.88E-05	9001.533	0.541614	5.00E-05	2163.774	430596	7.1766	0.992435
0.999969	3.07E-05	9694.779	0.541671	4.00E-05	2323.246	462333	7.70555	0.997636
0.999976	2.41E-05	10665.48	0.538734	3.00E-05	2698.648	537042	8.9507	0.994326
0.999984	1.57E-05	11822.94	0.559813	2.00E-05	2962.558	589557	9.82595	0.987707
0.999992	7.76E-06	15788.17	0.537325	1.00E-05	3709.754	738261	12.30435	0.986288
0.999993	7.02E-06	15766.87	0.54288	9.00E-06	3707.593	737811	12.29685	0.994799
0.999994	6.14E-06	16904.55	0.526391	8.00E-06	3835.543	763281	12.72135	0.993853
0.999995	5.43E-06	18446.73	0.510261	7.00E-06	4095.553	815031	13.58385	0.997163
0.999995	4.71E-06	18505.6	0.534355	6.00E-06	4101.186	816137	13.60228	0.991017
0.999996	3.93E-06	19916.77	0.527667	5.00E-06	4115.08	818901	13.64835	0.987234
0.999997	3.13E-06	20718.11	0.532616	4.00E-06	4503.146	896126	14.93543	0.983452
0.999998	2.41E-06	26158.04	0.52708	3.00E-06	5511.734	1096851	18.28085	0.994326
0.999998	1.53E-06	26274.56	0.524317	2.00E-06	5363.884	1067430	17.7905	0.985343
0.999999	7.88E-07	37806.52	0.510657	1.00E-06	7611.156	1514620	25.24367	0.995272

xx0
1
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/199次	耗时min/199次	最大准确率p-max
0.499717	0.500211	17.40201	0.506172	0.5	707.1759	140728	2.345467	0.838298
0.608011	0.392067	951.2111	0.469311	0.4	850.4422	169238	2.820633	0.791962
0.712017	0.287774	1144.578	0.487038	0.3	920.7638	183234	3.0539	0.960284
0.813526	0.186626	1313.633	0.519771	0.2	921.196	183322	3.055367	0.995272
0.910566	0.089368	1505.824	0.523751	0.1	955.1608	190081	3.168017	0.992435
0.991599	0.008414	2362.116	0.518659	0.01	1100.508	219019	3.650317	0.995745
0.999177	8.23E-04	4129.02	0.515074	0.001	1356.719	270003	4.50005	0.995272
0.999915	8.50E-05	10353.37	0.488022	1.00E-04	2390.417	475693	7.928217	0.949882
0.999923	7.65E-05	10653.93	0.483514	9.00E-05	2434.392	484444	8.074067	0.968322
0.999932	6.78E-05	11292.44	0.487855	8.00E-05	2542.327	505923	8.43205	0.982979
0.999943	5.74E-05	11761.11	0.486713	7.00E-05	2613.879	520162	8.669367	0.904019
0.999949	5.14E-05	12657.69	0.49194	6.00E-05	2541.392	505737	8.42895	0.908274
0.999958	4.15E-05	13305.44	0.484669	5.00E-05	2879.116	572945	9.549083	0.992908
0.999967	3.35E-05	15844.3	0.488837	4.00E-05	3299.538	656624	10.94373	0.93617
0.999975	2.50E-05	17291.77	0.494123	3.00E-05	3521.02	700698	11.6783	0.983924
0.999983	1.69E-05	20753.56	0.486458	2.00E-05	4093.045	814516	13.57527	0.946572
0.999992	8.35E-06	27708.2	0.485498	1.00E-05	5227.101	1040193	17.33655	0.982506
0.999992	7.53E-06	29358.86	0.484006	9.00E-06	5562.97	1107046	18.45077	0.901182
0.999993	6.75E-06	30689.87	0.488079	8.00E-06	5993.101	1192630	19.87717	0.947991
0.999994	5.85E-06	33437.22	0.478233	7.00E-06	5531.07	1100684	18.34473	0.922459
0.999995	5.10E-06	36960.64	0.476242	6.00E-06	6762.432	1345724	22.42873	0.839243
0.999996	4.27E-06	40669.92	0.479425	5.00E-06	7354.492	1463560	24.39267	0.953191
0.999997	3.40E-06	44594.05	0.486247	4.00E-06	8140.05	1619870	26.99783	0.97305
0.999997	2.58E-06	51522.11	0.482569	3.00E-06	9523.98	1895272	31.58787	0.975414
0.999998	1.77E-06	67583.53	0.474122	2.00E-06	12034.15	2394797	39.91328	0.985816
0.999999	9.08E-07	107224.5	0.472789	1.00E-06	18710.25	3723339	62.05565	0.886998