(A,B)---4*4*2---(1,0)(0,1)
用神经网络分类A和B,让A中有4个1,B中有3个1.让A和B不断迭代直到收敛。收敛误差为1e-4.将收敛后的权重导出
4311 | |||||||
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 |
9.96E-05 | 0.9999 | 214996 | 1 | 1 | 1 | 1.00E-04 | 445 |
初始w1 | 初始w2 | 收敛w1 | 收敛w2 | ||||
-0.094 | 0.041 | -5.5126 | -5.3572 | ||||
-0.02 | -0.076 | -5.4851 | 5.40847 | ||||
0.045 | -0.07 | 4.53855 | -5.3751 | ||||
0.071 | -0.08 | 5.88584 | 5.30974 | ||||
-0.01 | 0.095 | 0.86791 | 4.2802 | ||||
-0.022 | 0.093 | 0.88425 | -4.1025 | ||||
-0.084 | -0.066 | -0.7537 | 6.0753 | ||||
-0.06 | -0.07 | -0.9664 | -6.2423 | ||||
0.057 | 0.93491 | ||||||
-0.022 | 0.88425 | ||||||
-0.068 | -0.7377 | ||||||
-0.044 | -0.9504 | ||||||
-0.048 | 0.82991 | ||||||
-0.056 | 0.85025 | ||||||
0.027 | -0.6427 | ||||||
0.001 | -0.9054 |
将收敛权重w1化成4个一组
-5.51256 | 0.867914 | 0.934914 | 0.829914 |
-5.48507 | 0.884251 | 0.884251 | 0.850251 |
4.538546 | -0.75373 | -0.73773 | -0.64273 |
5.885844 | -0.96644 | -0.95044 | -0.90544 |
用openscad画成图
分布上有很清晰的规则,权重是正负对称分布的,这张图是8正,8负,2:2对称。收敛w2正负对称分布的特征更为明显。
按照移位距离和假设,只有A图中(0,0)位粒子需要移动,而图中也只有x=0的一列绝对值较大,其余列的z值都很小。所以权重是按列分布的。权重的列与需要移位的粒子位置对应。
4312 | |||||||
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 |
1.00E-04 | 0.9999 | 217878 | 1 | 1 | 1 | 1.00E-04 | 452 |
初始w1 | 初始w2 | 收敛w1 | 收敛w2 | ||||
0.085 | 0.097 | 6.485362 | 7.464465 | ||||
-0.016 | -0.07 | -5.37845 | -7.41698 | ||||
-0.048 | 0.059 | -5.89909 | -5.00138 | ||||
0.027 | 0.061 | 3.069542 | 5.056194 | ||||
0.093 | 0.023 | -0.99326 | -5.86211 | ||||
0.017 | 0.011 | 0.880933 | 5.82341 | ||||
0.043 | 0.013 | 0.968471 | 2.718992 | ||||
0.077 | -0.056 | -0.37898 | -2.7765 | ||||
0.029 | -1.05726 | ||||||
-0.084 | 0.779933 | ||||||
-0.02 | 0.905471 | ||||||
-0.04 | -0.49598 | ||||||
0.069 | -1.01726 | ||||||
-0.022 | 0.841933 | ||||||
-0.03 | 0.895471 | ||||||
0.063 | -0.39298 |
对4312,权重也是按照正负2:2分布。体现了正负对称性,同时也是x=0的一列较大,体现了权重按列分布的特征。
4313 | |||||||
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 |
1.00E-04 | 0.999901 | 221436 | 1 | 1 | 1 | 1.00E-04 | 452 |
初始w1 | 初始w2 | 收敛w1 | 收敛w2 | ||||
-0.046 | 0.043 | -5.99423 | -5.96728 | ||||
0.003 | 0.021 | -5.27569 | 6.037832 | ||||
0.039 | -0.038 | 6.595307 | -4.90266 | ||||
0.015 | -0.016 | 2.837583 | 4.857082 | ||||
0.061 | 0.067 | 0.927988 | 7.687073 | ||||
0.007 | -0.068 | 0.844571 | -7.60892 | ||||
-0.07 | -0.05 | -1.10189 | 2.473497 | ||||
0.087 | -0.094 | -0.2979 | -2.56644 | ||||
0.077 | 0.943988 | ||||||
-0.028 | 0.809571 | ||||||
0.031 | -1.00089 | ||||||
-0.012 | -0.3969 | ||||||
0.075 | 0.941988 | ||||||
-0.046 | 0.791571 | ||||||
0.015 | -1.01689 | ||||||
-0.046 | -0.4309 | ||||||
4313的权重形态和4311的形态很相似
4314 | |||||||
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 |
1.00E-04 | 0.9999 | 214962 | 1 | 1 | 1 | 1.00E-04 | 468 |
初始w1 | 初始w2 | 收敛w1 | 收敛w2 | ||||
-0.01 | 0.091 | 5.160003 | 5.076675 | ||||
-0.098 | 0.001 | -4.8978 | -5.04172 | ||||
-0.04 | 0.069 | -6.04348 | -4.46367 | ||||
0.069 | 0.019 | 5.332156 | 4.503913 | ||||
0.005 | -0.048 | -0.83941 | -6.25072 | ||||
-0.08 | 0.059 | 0.719711 | 6.212442 | ||||
0.013 | 0.005 | 0.968573 | 5.293747 | ||||
0.083 | 0.017 | -0.79498 | -5.33022 | ||||
0.005 | -0.83941 | ||||||
0.069 | 0.868711 | ||||||
0.041 | 0.996573 | ||||||
-0.058 | -0.93598 | ||||||
0.063 | -0.78141 | ||||||
-0.062 | 0.737711 | ||||||
-0.012 | 0.943573 | ||||||
0.061 | -0.81698 |
4314的权重虽然也是2:2分布,但是两个正值是在两边。
4315 | |||||||
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 |
0.9999 | 1.00E-04 | 217007 | 1 | 1 | 1 | 1.00E-04 | 454 |
初始w1 | 初始w2 | 收敛w1 | 收敛w2 | ||||
0.021 | 0.005 | -7.172 | -9.52012 | ||||
0.051 | 0.081 | 4.959241 | 9.504915 | ||||
0.065 | -0.04 | 2.046645 | 4.020724 | ||||
0.001 | -0.094 | 5.896967 | -4.13289 | ||||
0.097 | 0.057 | 1.396596 | 1.153275 | ||||
0.055 | 0.045 | -0.8141 | -1.05735 | ||||
0.011 | 0.085 | -0.465 | 5.484831 | ||||
0.095 | -0.08 | -0.99101 | -5.44265 | ||||
-0.096 | 1.203596 | ||||||
-0.078 | -0.9471 | ||||||
-0.036 | -0.512 | ||||||
0.021 | -1.06501 | ||||||
-0.098 | 1.201596 | ||||||
-0.094 | -0.9631 | ||||||
0.021 | -0.455 | ||||||
-0.034 | -1.12001 |
4315是按照1:3的比例对称分布,这与前4组都不同。但4315也同样是按列分布的。最大值在x=0的一列。
4316 | |||||||
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 |
1.00E-04 | 0.9999 | 218638 | 1 | 1 | 1 | 1.00E-04 | 645 |
初始w1 | 初始w2 | 收敛w1 | 收敛w2 | ||||
-0.022 | -0.054 | -4.51658 | -3.99099 | ||||
-0.014 | -0.006 | 5.008658 | 4.002054 | ||||
-0.054 | -0.022 | -6.31285 | 4.818667 | ||||
-0.032 | -0.018 | 5.492233 | -4.85821 | ||||
0.021 | -0.082 | 0.723593 | -6.72088 | ||||
0.019 | -0.03 | -0.75401 | 6.711563 | ||||
0.097 | 0.035 | 1.082784 | 5.575091 | ||||
0.045 | 0.007 | -0.88072 | -5.53691 | ||||
-0.08 | 0.622593 | ||||||
-0.042 | -0.81501 | ||||||
0.047 | 1.032784 | ||||||
0.061 | -0.86472 | ||||||
0.089 | 0.791593 | ||||||
-0.048 | -0.82101 | ||||||
-0.05 | 0.935784 | ||||||
0.035 | -0.89072 |
4316,同样是2:2对称分布,但正负值是交叉分布的。
4317 | ||||||||
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 | |
0.9999 | 1.00E-04 | 230785 | 1 | 1 | 1 | 1.00E-04 | 475 | |
初始w1 | 初始w2 | 收敛w1 | 收敛w2 | |||||
0.077 | -0.08 | 1.15593 | 0.361891 | |||||
0.061 | -0.03 | 5.467473 | -0.48027 | |||||
-0.024 | 0.083 | 5.643112 | 4.898901 | |||||
-0.064 | 0.065 | -7.21534 | -4.80339 | |||||
0.069 | 0.095 | -0.23537 | 5.110543 | |||||
-0.03 | -0.06 | -0.96496 | -5.13206 | |||||
0.001 | -0.044 | -1.04405 | -9.48864 | |||||
-0.008 | -0.016 | 1.26775 | 9.523552 | |||||
0.089 | -0.21537 | |||||||
-0.082 | -1.01696 | |||||||
0.095 | -0.95005 | |||||||
0.037 | 1.31275 | |||||||
-0.096 | -0.40037 | |||||||
-0.018 | -0.95296 | |||||||
0.019 | -1.02605 | |||||||
-0.064 | 1.21175 |
4317是按照1:3比例对称分布。
所以由上述的7组实验,可以假设神经网络的权重是正负对称分布的,并且权重按列分布,权重的列与需要移位的粒子位置对应。