第六讲：感知器（perceptron）和大型边界分类器（large margin classifiers）

本章是讲义中关于学习理论的最后一部分，我们来介绍另外机器学习模式。在之前的内容中，我们考虑的都是批量学习的情况，即给了我们训练样本集合用于学习，然后用学习得到的假设 h 来评估和判别测试数据。在本章，我们要讲一种新的机器学习模式：在线学习，这种情况下，我们的学习算法要在进行学习的同时给出预测。

学习算法会获得一个样本序列，其中内容为有次序的学习样本，$(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...(x^{(m)},y^{(m)})$。最开始获得的就是 $x^{(1)}$，然后需要预测 $y^{(1)}$。在完成了这个预测之后，再把 $y^{(1)}$ 的真实值告诉给算法（然后算法就利用这个信息来进行某种学习了）。接下来给算法提供 $x^{(2)}$，再让算法对 $y^{(2)}$ 进行预测，然后再把 $y^{(2)}$ 的真实值告诉给算法，这样算法就又能学习到一些信息了。这样的过程一直持续到最末尾的样本 $(x^{(m)},y^{(m)})$。在这种在线学习的背景下，我们关心的是算法在此过程中出错的总次数。因此，这适合需要一边学系一边给出预测的应用情景。

接下来，我们将对感知器学习算法（perceptron algorithm）的在线学习误差给出一个约束。为了让后续的推导（subsequent derivations）更容易，我们就用正负号来表征分类标签，即设 y = ∈ { − 1 , 1 } y =∈ \{−1, 1\} y=∈{ −1,1}。

回忆一下感知器算法（在第二章中有讲到），其参数 $\theta \in R^{n+1}$，该算法据下面的方程来给出预测：

$$\begin{array}{rlr}{h}_{\theta }(x)& =g({\theta }^{T}x)& \end{array}\text{\hspace{1em}(1)}$$

其中：
g ( z ) = { 1 if  z ≥ 0 − 1 if  z &lt; 0. g(z)= \begin{cases} 1 &amp; \text {if } z \geq 0 \\ -1 &amp; \text{if } z &lt;0.\end{cases} g(z)={ 1−1​if z≥0if z<0.​</