一个与神经网络分类特征旋转不变性有关的实验

继续用《用神经网络分类两条夹角为θ的直线》的办法分类两条直线。

y=x*tanθ和y=x*tan(θ+20)

所不同的是这次让两条直线之间的夹角固定为20，让θ分别等于0，20...340，共18个值。观察网络迭代次数是否会随着θ的改变而改变。

 

得到的数据

	0	20	40	60	80	100	120	140	160	180	200	220	240	260	280	300	320	340
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.5	183.7437	174.7337	132.7638	51.0201	21.49246	46.23116	131.809	167.0251	176.3719	175.0905	163.2663	117.5578	43.77387	24.29146	47.94975	127.0955	149.4372	181.9045
0.4	6463.497	4839.407	2635.628	678.3769	145.2563	640.6382	2527.663	4584.739	6285.764	6307.126	4696.925	2431.477	695.2864	147.2714	675.2111	2511.668	4693.302	6486.025
0.3	7187.005	5663.256	3271.709	1135.869	210.1357	1115.668	3403.583	5306.648	7022.839	7268.864	5592.513	3096.452	1101.176	214.4774	1103.965	3174.739	5423.623	7131.663
0.2	7694.166	5980.442	3784.814	1417.477	300.2261	1520.256	3734.759	5964.92	7494.925	7713.915	6052.241	3634.261	1468.729	301.3719	1468.116	3684.286	6141.462	7687.322
0.1	8523.357	6744.332	4303.497	2097.704	528.1307	2221.884	4312.94	6724.246	8286.357	8421.166	6637.457	4099.668	2176.367	541.9598	2165.804	4190.678	6570.477	8427.055
0.01	11092.46	9211.055	6479.266	5400.181	9111.06	6526.307	6368.126	8905.221	11144.86	11222.1	9218.764	6324.874	5409.573	9033.136	5685.613	6259.563	9296.97	11036.3
0.001	16406.64	13799.87	11178.14	12984.04	90194.24	13322.17	11084.86	13740.24	16349.77	16252.28	13882.19	11009.56	12186.52	91557.81	13514.66	10861.02	13941.75	16058.69
9.00E-04	16656.88	14021.75	11547.07	15867.93	95077.97	13330.39	11527.73	14025.96	16721.31	16551.81	14081.7	11690.73	14364.44	118934.5	12176.46	11232.95	14285.61	16371.57
8.00E-04	16867.91	14545.45	12001.97	15595.08	124856.8	13729.79	11832.07	14496.26	16886.85	16755.82	14640.74	12029.25	13313.52	104256.4	15450.24	11624.08	14594.82	16878.63
7.00E-04	17469.43	14926.43	12373.55	17609.68	99316.23	14226.06	12166.15	14716.6	17321.31	17164.35	15079.52	12734.66	14149.2	137940.7	15032.8	12219.29	15058.62	17128.73
6.00E-04	17832.69	15491.31	12846.28	14680.06	107234.7	17264.59	12514.49	15154.94	17954.22	17634.17	15552.46	13314.08	15079.32	106885.5	15335.32	12870.77	15458.24	17905.65
5.00E-04	18730.19	16097.33	13634.06	17749.19	112417.5	16863.14	13269.44	15867.55	18333.61	18207.56	16195.79	13935.75	16474.55	131833.3	15697.25	13677.59	16003.11	18563.12
4.00E-04	19543.34	16987.46	14829.35	17721.2	123973.3	18916.87	14326.55	16557.45	19108.86	18921.52	16865.36	14650.08	19046.12	128215.1	18917.49	14652.08	16959.39	19523.26
3.00E-04	20722.5	18283.57	15955.3	21683.39	121096.5	21764.25	15959.52	18095.31	20368.87	20126.08	18131.64	15505.25	21190.66	120739	19454.93	15811.28	18153.76	20345.28
2.00E-04	22352.49	20154.09	17997.3	24049.25	194464.4	22251.16	18040.09	19814.57	22164.9	21960.05	19805.31	17945.96	21509.25	150811.1	23479.05	18057.3	19838.27	22240.5
1.00E-04	25682.17	23119.55	22530.28	29177.88	178503.8	32680.93	22100.06	23693.34	25407.28	25312.68	23311.04	23244.69	30022.71	183537.4	34095.23	22123.41	24014.31	25685.58

 

将收敛标准为3e-4,2e-4,1e-4的迭代次数画成图

很明显至少对这个实验而言，网络的分类特征是关于x轴对称，关于y轴对称，同时关于原点对称的。

但这个神经网路的分类特征关于旋转操作是不对称的。

比如两组直线

1：y=x*tan(0)和y=x*tan(20)

2：y=x*tan(20)和y=x*tan(20+20)

这两组直线之间的夹角都是20，但是δ=1e-4时这两组直线的迭代次数分别是25682和23119.也就表明对这个系统而言并没有分类特征的旋转不变性。旋转操作是有可能改变体系的分类特征的。

比如如果将迭代次数理解成是引力的一种外在表象，而将质量理解成正比于两个对象之间的交叉程度。在两条直线夹角不变的情况下，等效交叉如果是不变的，那只能是二者之间的距离发生了改变。

 

1：y=x*tan(0)和y=x*tan(20)  的距离r1

2：y=x*tan(20)和y=x*tan(20+20)  的距离r2

如果迭代次数n1>n2,表明引力G1>G2,在m1，m2不变的情况下，则可得到r2>r1.

表明随着角度的增加两个对象之间的距离实际上减小了。

但两条之间的夹角是不变的,距离为什么会减小，比如假设r1=r2，但测量r1的尺子的单位是厘米，而测量r2的尺子的单位是米。则在r1=r2的情况下将得到r2>r1.也就是假设这个空间的度规不是均匀的。

 

再比较分类准确率

	0	20	40	60	80	100	120	140	160	180	200	220	240	260	280	300	320	340
δ	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave
0.5	0.501332	0.500312	0.500698	0.512196	0.530452	0.502701	0.504497	0.500563	0.500389	0.500636	0.500508	0.503869	0.508809	0.525374	0.504153	0.501151	0.501367	0.502289
0.4	0.942379	0.849523	0.719271	0.648573	0.725598	0.634877	0.721209	0.805852	0.948726	0.927276	0.860927	0.683018	0.656606	0.754317	0.652239	0.697075	0.778711	0.949073
0.3	0.957653	0.888789	0.868407	0.854583	0.782151	0.861299	0.893879	0.893879	0.952719	0.95196	0.89955	0.857523	0.845779	0.801374	0.87742	0.879008	0.884033	0.964794
0.2	0.967598	0.920736	0.892585	0.878902	0.813251	0.879882	0.912736	0.924332	0.963746	0.967475	0.924485	0.887319	0.876872	0.8195	0.899661	0.906626	0.921616	0.977158
0.1	0.979417	0.949809	0.920264	0.904613	0.836902	0.897538	0.93551	0.952	0.981568	0.981822	0.952317	0.925427	0.89302	0.884304	0.905776	0.933497	0.950141	0.985658
0.01	0.995751	0.979126	0.970379	0.980271	0.870631	0.972942	0.966754	0.981394	0.991819	0.995405	0.983399	0.968492	0.978113	0.842621	0.979932	0.971198	0.978847	0.992075
0.001	0.997171	0.989126	0.986889	0.988131	0.996925	0.986827	0.982869	0.986389	0.997497	0.99652	0.993726	0.983467	0.988832	0.996467	0.986631	0.985505	0.984465	0.997789
9.00E-04	0.997435	0.988384	0.986796	0.989611	0.993736	0.986719	0.983176	0.986761	0.997281	0.996251	0.993807	0.981673	0.988485	0.992327	0.987274	0.985161	0.985008	0.997673
8.00E-04	0.997181	0.988128	0.987116	0.988894	0.992251	0.988704	0.983284	0.987394	0.997191	0.996249	0.99404	0.980621	0.988761	0.99796	0.989877	0.985339	0.985181	0.997553
7.00E-04	0.997033	0.988236	0.987869	0.988719	0.997296	0.989611	0.984095	0.987761	0.99707	0.995799	0.994015	0.979884	0.989048	0.990274	0.989188	0.984759	0.985691	0.99746
6.00E-04	0.997163	0.988751	0.988236	0.988558	0.996807	0.989819	0.986367	0.987706	0.997405	0.99609	0.993322	0.98002	0.988492	0.998327	0.988932	0.984764	0.986126	0.997819
5.00E-04	0.997791	0.989709	0.988281	0.990276	0.996497	0.989269	0.987422	0.98894	0.998025	0.99652	0.992794	0.981842	0.987668	0.992736	0.989113	0.984842	0.987455	0.997284
4.00E-04	0.998377	0.990601	0.988281	0.988842	0.996508	0.991201	0.987761	0.990377	0.998658	0.997716	0.992972	0.985256	0.990206	0.997472	0.990812	0.985236	0.989492	0.99708
3.00E-04	0.998573	0.990751	0.98997	0.990882	0.997776	0.992794	0.9875	0.991495	0.998606	0.997774	0.99354	0.988741	0.991286	0.999196	0.990761	0.986339	0.990774	0.997181
2.00E-04	0.998193	0.991442	0.992015	0.99095	0.993651	0.993317	0.988638	0.99045	0.998774	0.997364	0.994337	0.987686	0.992683	0.998475	0.990937	0.986784	0.992053	0.997307
1.00E-04	0.997568	0.994915	0.992425	0.991389	0.999116	0.994286	0.99053	0.990852	0.997962	0.998314	0.996495	0.986188	0.992769	0.999633	0.992962	0.989226	0.989575	0.998902

 

将pave画成图，观察到pave曲线有很强的周期性，有4个峰，4个谷，当θ=0，90，180，270时出现峰值，当θ=45，135，225，315时出现谷。也就是在一个象限内分辨准确率总是在峰-谷-峰之间震荡。

 

综合实验数据表明神经网络的分类特征不是旋转不变的，分类对象相对角度的改变对迭代次数和分类准确率都有非常明显的影响。