在前面的实验中得到,二值化神经网络权重是按照如下的规则收敛
按列分布,
正负对称,
A0列或B0列高度比较突出,且A0列或B0列彼此之间正负关系相反
重合1列的高度较小,且正负关系与A0列或B0列相反
重合0列没有变化
A0列,B0列,重合1列,重合0列彼此之间几乎一致。
这次验证这一规则是否适用于更大的4*4的图片
(A,B)---16*16*2---(1,0)(0,1)
用神经网络分类A和B,A和B中都只有13个1.这样一组图片包含了二值化神经网络权重的所有4个组成部分。有A0列x=0,15;B0列x=2,3,重合0列x=1;重合1列x=4,5,6,7,8,9,10,11,12,13.
按照规则,A0列和B0列正负相反,重合1列和A0列或B0列正负相反,重合0列无变化,将权重用openscad画出
从图中可以明确的观察到x=0,15的两列彼此一致,x=2,3的两列彼此一致,且x=0,15和x=2,3的两组正负相反。
收敛w1
-0.329 | 0.083 | 0.3359 | 0.2429 | -0.006 | 0.063 | -0.062 | 0.037 | 0.004 | 0.041 | 0.023 | -0.066 | -0.05 | 0.045 | 0.002 | -0.224 |
1.2635 | -0.088 | -1.147 | -1.238 | -0.04 | 0.0121 | -0.046 | -0.044 | -0.01 | -0.082 | -0.078 | 0.0891 | 0.0771 | 0.0511 | 0.0041 | 1.1565 |
1.0242 | -0.062 | -0.968 | -1.025 | -0.076 | -0.046 | 0.005 | 0.049 | 0.019 | 0.041 | 0.035 | -0.034 | -0.066 | 0.039 | 0.003 | 0.9232 |
-1.357 | 0.075 | 1.4721 | 1.3881 | -0.065 | -0.006 | -0.012 | 0.0137 | -0.018 | -0.025 | 0.0537 | -0.085 | 0.0137 | 0.0237 | 0.0637 | -1.323 |
0.6707 | -0.016 | -0.697 | -0.628 | -0.099 | -0.008 | -0.033 | -0.012 | 0.0517 | 0.0757 | 0.0397 | 0.0517 | 0.0137 | 0.0017 | -0.093 | 0.5397 |
-0.121 | 0.077 | 0.1824 | 0.2164 | -0.071 | -0.033 | 0.0742 | -0.085 | 0.0582 | 0.0282 | 0.0442 | 0.0862 | -0.037 | 0.0082 | 0.0102 | -0.057 |
-0.821 | 0.037 | 0.868 | 0.961 | -0.072 | 0.0184 | -0.03 | 0.0974 | 0.0734 | 0.1154 | -0.012 | -0.072 | -0.064 | 0.0064 | -0.066 | -0.888 |
1.0992 | -0.05 | -1.017 | -1.057 | -0.043 | 0.0803 | -0.007 | 0.0503 | -0.073 | -0.075 | 0.0443 | -0.053 | -0.049 | -0.059 | 0.0603 | 1.1132 |
-1.13 | -0.064 | 1.0965 | 1.0745 | -0.066 | 0.0056 | 0.0176 | -0.016 | -0.064 | -0.012 | 0.1086 | 0.0866 | -0.056 | 0.0446 | 0.0056 | -1.044 |
-1.183 | -0.026 | 1.3128 | 1.1658 | ###### | -0.026 | -0.034 | 0.0509 | 0.0629 | 0.0469 | -0.046 | 0.0019 | -0.054 | 0.0429 | -0.01 | -1.268 |
0.2227 | 0.083 | -0.182 | -0.259 | -0.033 | 0.0896 | -0.025 | 0.0656 | -0.055 | -0.055 | 0.0196 | -0.043 | -0.025 | 0.0856 | 0.0356 | 0.0857 |
0.6218 | -0.008 | -0.611 | -0.667 | -0.05 | 0.083 | 0.015 | 0.025 | 0.059 | 0.071 | -0.068 | -0.11 | -0.018 | 0.019 | -0.1 | 0.6638 |
1.1543 | 0.097 | -1.257 | -1.162 | -0.034 | -0.104 | -0.015 | 0.0505 | 0.0305 | -0.048 | 0.0185 | -0.096 | 0.0365 | 0.0505 | 0.0565 | 1.2793 |
-1.458 | 0.055 | 1.4164 | 1.4184 | -0.09 | 0.0348 | 0.0548 | 0.0328 | 0.0768 | -0.015 | 0.0588 | -0.03 | -0.013 | -0.074 | -0.015 | -1.327 |
1.0669 | -0.078 | -1.172 | -1.184 | -0.067 | 0.1082 | -0.005 | -0.043 | 0.0522 | 0.0382 | -0.011 | 0.0222 | -0.069 | -0.073 | 0.0182 | 1.2459 |
0.1969 | 0.069 | -0.053 | -0.214 | 0.061 | 0.059 | 0.011 | -0.034 | 0.015 | -0.046 | -0.062 | -0.042 | 0.029 | 0.013 | -0.086 | 0.0939 |
初始w1
-0.084 | 0.083 | 0.079 | -0.014 | -0.018 | 0.051 | -0.074 | 0.025 | -0.008 | 0.029 | 0.011 | -0.078 | -0.062 | 0.033 | -0.01 | 0.021 |
0.023 | -0.088 | 0.077 | -0.014 | -0.056 | -0.004 | -0.062 | -0.06 | -0.026 | -0.098 | -0.094 | 0.073 | 0.061 | 0.035 | -0.012 | -0.084 |
0.047 | -0.062 | 0.029 | -0.028 | -0.056 | -0.026 | 0.025 | 0.069 | 0.039 | 0.061 | 0.055 | -0.014 | -0.046 | 0.059 | 0.023 | -0.054 |
0.041 | 0.075 | 0.097 | 0.013 | -0.042 | 0.017 | 0.011 | 0.037 | 0.005 | -0.002 | 0.077 | -0.062 | 0.037 | 0.047 | 0.087 | 0.075 |
0.041 | -0.016 | -0.046 | 0.023 | -0.078 | 0.013 | -0.012 | 0.009 | 0.073 | 0.097 | 0.061 | 0.073 | 0.035 | 0.023 | -0.072 | -0.09 |
0.029 | 0.077 | 0.031 | 0.065 | -0.072 | -0.034 | 0.073 | -0.086 | 0.057 | 0.027 | 0.043 | 0.085 | -0.038 | 0.007 | 0.009 | 0.093 |
0.041 | 0.037 | -0.02 | 0.073 | -0.098 | -0.008 | -0.056 | 0.071 | 0.047 | 0.089 | -0.038 | -0.098 | -0.09 | -0.02 | -0.092 | -0.026 |
-0.02 | -0.05 | 0.093 | 0.053 | -0.052 | 0.071 | -0.016 | 0.041 | -0.082 | -0.084 | 0.035 | -0.062 | -0.058 | -0.068 | 0.051 | -0.006 |
-0.088 | -0.064 | 0.035 | 0.013 | -0.086 | -0.014 | -0.002 | -0.036 | -0.084 | -0.032 | 0.089 | 0.067 | -0.076 | 0.025 | -0.014 | -0.002 |
0.047 | -0.026 | 0.055 | -0.092 | -0.028 | -0.054 | -0.062 | 0.023 | 0.035 | 0.019 | -0.074 | -0.026 | -0.082 | 0.015 | -0.038 | -0.038 |
0.039 | 0.083 | 0.009 | -0.068 | -0.026 | 0.097 | -0.018 | 0.073 | -0.048 | -0.048 | 0.027 | -0.036 | -0.018 | 0.093 | 0.043 | -0.098 |
-0.046 | -0.008 | 0.069 | 0.013 | -0.038 | 0.095 | 0.027 | 0.037 | 0.071 | 0.083 | -0.056 | -0.098 | -0.006 | 0.031 | -0.088 | -0.004 |
-0.028 | 0.097 | -0.042 | 0.053 | -0.002 | -0.072 | 0.017 | 0.083 | 0.063 | -0.016 | 0.051 | -0.064 | 0.069 | 0.083 | 0.089 | 0.097 |
-0.054 | 0.055 | 0.033 | 0.035 | -0.07 | 0.055 | 0.075 | 0.053 | 0.097 | 0.005 | 0.079 | -0.01 | 0.007 | -0.054 | 0.005 | 0.077 |
-0.096 | -0.078 | -0.026 | -0.038 | -0.084 | 0.091 | -0.022 | -0.06 | 0.035 | 0.021 | -0.028 | 0.005 | -0.086 | -0.09 | 0.001 | 0.083 |
0.085 | 0.069 | 0.063 | -0.098 | 0.065 | 0.063 | 0.015 | -0.03 | 0.019 | -0.042 | -0.058 | -0.038 | 0.033 | 0.017 | -0.082 | -0.018 |
收敛w1 | 初始w1 |
0.083 | 0.083 |
-0.088 | -0.088 |
-0.062 | -0.062 |
0.075 | 0.075 |
-0.016 | -0.016 |
0.077 | 0.077 |
0.037 | 0.037 |
-0.05 | -0.05 |
-0.064 | -0.064 |
-0.026 | -0.026 |
0.083 | 0.083 |
-0.008 | -0.008 |
0.097 | 0.097 |
0.055 | 0.055 |
-0.078 | -0.078 |
0.069 | 0.069 |
比较两组权重的第二列,是一样的,因此重合0列权重确实没有变化。这两条都符合规则。
但重合1列的变化关系变得复杂了。重合1列彼此之间并不一致,也很难找到与A0和B0和重合1列的正负关系。因此权重的分布关系可以被修正为
按列分布,正负对称,
A0列或B0列比较显著,且A0列或B0列彼此之间正负关系相反
重合1列的高度较小
重合0列没有变化