机器学习（八）——感知器学习算法（The perceptron learning algorithm）

原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf

现在，让我们简要地谈论一个历史上曾经令人很感兴趣的算法，当学习到学习理论章节的时候我们将还会提到这个。试想一下修改logistic回归的方法，来“迫使”它能够输出除了0或1亦或是其它以外的输出值。为了达到这个目的，自然而然地会想到去改变阈值函数 $g$ 的定义：

接下来，如果我们和前面一样令 $h_{\theta }\left(x\right)=g\left({\theta }^{T}x\right)$ ，但却使用修改了定义的函数 $g$ ，如果我们使用的是这个更新规则：

${\theta }_j:={\theta }_j+\alpha (y^{\left(i\right)}-h_{\theta }(x^{\left(i\right)}\left)\right)x_j^{\left(i\right)}$

这样我们就得到了感知器学习算法。

在 19世纪60 年代，这个“感知器（perceptron）”被认为是对大脑中单个神经元工作方法的一个粗略建模。考虑到这个算法比较简单，我们后续在本课程中讲学习理论的时候也会作为分析的起点来讲一讲。但一定要注意，虽然这个感知器学习算法可能看上去表面上跟我们之前讲的其他算法挺相似，但实际上这是一个和logistic回归以及最小二乘线性回归等算法在种类上都完全不同的算法；尤其重要的是，很难去对感知器的预测赋予有意义的概率解释，也很难作为一种最大似然估计算法来推导感知器学习算法。