Hinton Neural Networks for Machine Learning 第二讲： 感知机-几何描述

Hinton Neural Networks for Machine Learning 第二讲： 感知机-几何描述

---

权值空间( Weight-space )

之前讲到的感知机是将实例点作为一个空间(输入空间), 权值则为超平面对实例点进行划分, 这里略有不同: 将所有的权值作为一个空间, 使用实例点作为输入向量从而对权值空间进行划分.

• 空间内每个权重为一维
• 空间中的每一个点代表一种特殊的设定( 代表此时的权重 )
• 不考虑阈值( 偏置 ) , 每个实例为权值空间中的一个超平面, 并且权重必须被划分到超平面两侧

我们的目标是选择合适的权重.

当输入实例的正确输出为 1 时, 将该输入实例向量作为法线找到一个过原点的超平面, 超平面把权值空间划分为两部分, 与法线(输入实例)的夹角小于 90° 的权重向量是可以接受的合适的权重.

当输入实例的正确输出为 0 时, 将该输入实例向量作为法线找到一个过原点的超平面, 超平面把权值空间划分为两部分, 与法线(输入实例)的夹角大于 90° 的权重向量是可以接受的合适的权重.

有了以上规则, 将所有实例输入进来, 实例通过各种超平面对权值空间进行划分, 将权值限定在一个合适的范围内, 权值要满足所有输入实例, 所以有唯一解

为什么学习过程有效

计算当前权值向量和可行解的平方距离 $d_ a^2 + d_b^2$

定义一个可行域, 每次发生错误更新权值时, 更新的长度要比输入向量的模长( margin ), 经过有限次的更新, 最后将停留在可行域内.

证明奇奇怪怪的, Hinton 表示大家知道这样做可以就行, 比起数学证明更喜欢工程运用

感知机的局限 - 举例: 区分简单图案

这个地方看了好久, 虽然和后续内容无关, 只是说明感知机有局限, 不能用于模式识别.

个人理解这个例子有限定条件:

• 两个图案不同
• 两个图案每个像素的特征一样( 黑块的数量 )

对于图案A, B. 每个像素都是 4 个黑块, 所以总的输入( 黑块的数量 ) 都是相同的. 感知机无法区分.

以上说明了, 感知机的局限是只能区分线性模型, 解决这个问题的方案是 使用线性单元( non-linear units )