神经网络设计（第二版）决策边界和权值向量的关系，Hamming网络的理解，Hamming网络回复层是多余的？

最新推荐文章于 2022-10-23 14:01:38 发布

小哈蒙德

最新推荐文章于 2022-10-23 14:01:38 发布

阅读量2.0k

点赞数 1

分类专栏：神经网络设计（第二版）学习笔记文章标签：机器学习神经网络

本文链接：https://blog.csdn.net/qq_38109282/article/details/109178188

版权

神经网络设计（第二版）学习笔记专栏收录该内容

4 篇文章 1 订阅

订阅专栏

单神经元感知机最主要的特征就是能够把输入向量分为两类。这两类间的决策边界由以下公式给出

$Wp+b = 0$

决策边界和权值向量正交证明：

权值向量的指向一直指向决策边界的上方，证明：

从决策边界图可知道，阴影区域（决策为1的区域）中的任何向量都有大于-b的内积，而非阴影区域中的向量则有小于-b的内积，并且还知道 $W$ 和决策边界正交，则权值向量W的方向要么指向神经元输出为1的区域，要么指向神经元输出为0的区域，假设W指向神经元输出为0的区域，则在阴影区域（决策为1的区域）的输入向量跟权值矩阵W的内积一定小于0，则此时的决策为0，但实际输入向量的决策应为1，矛盾，则此假设不成立，则权值向量W方向必指向神经远输出为1的区域，证毕。

参考 Hamming网络

汉明距离

汉明距离/Hamming Distance也能用来计算两个向量的相似度；即通过比较向量每一位是否相同，若不同则汉明距离加1，这样得到汉明距离。向量相似度越高，对应的汉明距离越小。如10001001和10110001有3位不同。

书中P24：

请读者自行证明：前馈层的输出等于2R减去两倍的从标准模式到输入向量之间的Hamming距离

证明过程：

前馈层的输出为：

取前馈层输出向量的其中一个输出位作证明，即证明

$\varepsilon < \frac{1}{S-1}$ 的证明：

Hamming网络是二值模式识别问题， $\omega ^{2}$ 权值矩阵纠正每个前馈层的输出，将非最大占比元素的部分归零，作为二值模式识别，纠正的 $\varepsilon$ 比例必须不能超过被纠正元素的1：1的比例，对至少为二值的模式识别，对其中的输入变量纠正时， $\varepsilon$ 比例必须满足 $\varepsilon < \frac{1}{S-1}< \frac{1}{2-1}=1$ .

当网络是n值模式识别时，对其中一个A值进行纠正时，A值需要减去剩余n-1个值的百分比，这个百分比至多为值本身的 $\frac{1}{n-1}$ ，这样才能保证被纠正的最大值不会被迭代纠正为0（防止过拟合，使得到的回复层结果无法被判断）

Hamming网络的判断机制：
Hamming网络的前馈层产生的输出中：输出值最大的神经元正好对应着与输入模式Hamming距离最小的标准模式。这部分只能关注Hamming距离来判断输出是跟哪个标准模式接近，而标准模式中的参数有3个（以苹果橘子的3个参数为例子），前馈层没有体现每个参数的权重信息，因此要从回复层中，将前馈层的输出输送到回复层加以判断。

Hamming网络的回复层：前馈层的权值矩阵为苹果和橘子的标准模式构成的矩阵，回复层的权值矩阵我称为一个纠正矩阵，被纠正的是前馈层的输出，被纠正的参数为 输入变量和标准模式 的相关性参数，这里标准模式有两个（苹果和橘子模式），通过权值矩阵纠正后，发现Hamming网络的回复层结果和前馈层的结果一致，而权值矩阵的作用就是将前馈层的输出的元素差距拉开，较大值相比较小值在纠正过程中，较小值会更快被迭代到0值，并且收敛。

从这里我无法感觉到Hamming网络回复层的具体作用，这件事前馈层已经能做到了。

这里回复层的作用更像是为了特殊的电子设备判断高低电平设计的，方便这些设备判断结果。