权重的三维空间形态

(A，B)---m*n*k---(1,0)(0,1)

用神经网络分类A和B，导出神经网络的收敛权重，并用openscad将之画成3维图形，并观察收敛权重的形态。

继上一次实验，这次分类432，433，434，每组收敛两次。

1.432

1	1		1	1
1	1		0	1
4321
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
1.00E-04	0.9999	217416	1	1	1	1.00E-04	485
初始w1	初始w2		收敛w1	收敛w2
0.079	-0.066		0.821166	-4.25487
0.065	0.083		-0.92322	4.280995
-0.086	0.061		0.959315	6.211524
-0.032	-0.034		-0.72264	-6.15091
0.023	-0.094		0.765166	-6.47058
0.089	0.071		-0.89922	6.451407
-0.006	-0.008		1.039315	4.153486
0.003	-0.086		-0.68764	-4.21942
0.017			-4.73281
0.085			5.882695
-0.096			-6.16993
0.003			4.519736
-0.09			0.652166
-0.014			-1.00222
-0.074			0.971315
-0.028			-0.71864

将收敛w1画成3d图

 (A，B)---m*n*k---(1,0)(0,1)

用神经网络分类A和B，把参与分类的A和B中的数字看作是组成A和B的粒子，分类的过程就是让A和B中的粒子互相交换位置，寻找最短移位路径的过程。而熵H与最短移位距离和成正比，迭代次数n和熵H成反比。

对二值化图片移位规则汇总

每个粒子移位一次，位置重合不移位，0不动，单次移位距离恒为1.

权重正负对称分布，在x=2的一列数值较大，按照移位距离和的假设，

2位也正对应唯一需要移位的粒子.

1	1		1	1
1	1		0	1
4322
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
0.9999	1.00E-04	231611	1	1	1	1.00E-04	489
初始w1	初始w2		收敛w1	收敛w2
-0.016	-0.006		1.265466	-9.59065
-0.008	0.095		-0.36337	9.601611
-0.03	-0.028		-1.12142	0.751396
0.025	0.059		-0.81297	-0.80344
0.091	0.055		1.372466	6.053213
0.061	0.021		-0.29437	-6.06417
0.025	0.053		-1.06642	3.72126
-0.01	0.081		-0.84797	-3.67366
-0.086			-7.29303
0.035			1.542771
0.003			6.166341
0.011			4.574774
-0.096			1.185466
-0.092			-0.44737
0.011			-1.08042
0.001			-0.83697

第二组同样也是正负对称，但是1：3对称。大值也同样出现在x=2的一列。

2.433

1	1		1	0
1	1		1	1
4331
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
0.9999	1.00E-04	225765	1	1	1	1.00E-04	488
初始w1	初始w2		收敛w1	收敛w2
-0.012	-0.056		0.627913	-3.32777
0.071	0.097		-0.8199	3.352232
-0.016	-0.014		-0.89275	5.464475
0.089	-0.096		1.167452	-5.59313
0.049	0.061		-3.89208	5.000044
-0.064	0.087		5.537193	-4.87213
0.003	-0.056		5.139341	-7.33683
-0.054	0.047		-6.58183	7.313297
-0.09			0.549913
-0.056			-0.9469
0.065			-0.81175
-0.094			0.984452
0.031			0.670913
-0.03			-0.9209
0.095			-0.78175
-0.016			1.062452

4331的大值出现在x=1的一列，这符合移位距离和假设，因为4331的唯一需要移位的粒子就在A的1位。

1	1		1	0
1	1		1	1
4332
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
9.99E-05	0.9999	218896	1	1	1	1.00E-04	497
初始w1	初始w2		收敛w1	收敛w2
0.085	0.075		-0.92421	7.069996
0.087	0.003		1.027499	-7.08718
0.071	-0.004		-0.47832	-6.40109
-0.04	0.089		0.698842	6.410812
0.043	0.029		6.34952	3.215293
-0.03	0.081		-6.17775	-3.19494
0.051	0.025		3.614152	-4.39869
-0.038	0.037		-4.87203	4.384447
-0.052			-1.06121
-0.056			0.884499
0.043			-0.50632
0.053			0.791842
-0.036			-1.04521
0.091			1.031499
-0.082			-0.63132
0.047			0.785842

4332体现了权重正负对称分布，并且按列分布的特征。

3.434

1	1		1	1
1	1		1	0
4341
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
0.9999	9.99E-05	239041	1	1	1	1.00E-04	569
初始w1	初始w2		收敛w1	收敛w2
-0.028	0.005		-1.02036	4.92722
0.059	-0.03		-0.01547	-4.95596
-0.08	0.053		-1.05451	-0.01709
-0.016	0.033		1.273546	0.090285
0.021	-0.024		-0.97136	5.265798
-0.068	0.011		-0.14247	-5.28095
-0.074	-0.082		-1.04851	-9.45131
-0.054	0.083		1.235546	9.421516
0.069			-0.92336
-0.026			-0.10047
0.057			-0.91751
-0.03			1.259546
0.041			5.490841
-0.012			0.516732
0.097			5.706881
-0.088			-7.22573

较大值出现在x=3的一列，这与预期一致。

1	1		1	1
1	1		1	0
4342
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
0.9999	1.00E-04	190085	1	1	1	1.00E-04	431
初始w1	初始w2		收敛w1	收敛w2
-0.01	-0.03		-0.84806	3.016497
-0.024	-0.07		-0.95933	-3.00284
-0.09	-0.066		1.226978	4.690832
-0.02	-0.088		-0.82229	-4.73228
0.069	-0.082		-0.76906	-9.45414
-0.078	0.057		-1.01333	9.451886
0.055	-0.026		1.371978	3.141464
-0.018	-0.05		-0.82029	-3.10985
0.077			-0.76106
-0.092			-1.02733
-0.09			1.226978
0.019			-0.78329
0.007			4.092255
0.041			5.421388
-0.032			-7.11981
0.017			4.196895

所以这一组实验进一步证实了，权重正负对称分布，并且权重按列分这样两个特征。并且可以通过移位粒子的位置控制较大值出现的列。

所以权重的形态可以由训练集精确的控制，所谓的训练过程同样也是塑造权重空间的过程。