机器学习基石-Learning to Answer Yes/No

课程大纲

Perceptron Hypothesis Set

1.Hypothesis的线性表示

• $x = (x_1,x_2,...x_d)$
• $y = \{+1,-1\}$

$$h(x) = sign((\sum_{i=1}^dw_ix_i)-thershold)$$

2.Hypothesis的向量表示

$$h(x) = sign(w^Tx)$$

3.Hypothesis的图像表示

• $x$：平面上的点
• $y$：$\circ(+1)$,$\color{red}{\ast}(-1)$
• $hypothesis$：平面上的线，不同的$w$代表不同的线，也代表不同的假设

Perceptron Learning Algorithm

1.算法的目的：从假设空间寻找一个比较好的假设

2.算法的流程

这里解释一下右图：
我们知道犯错有两种情况

• x是正类，错分为负类，即$w^Tx<0$,$w$和$x$向量夹角是钝角，所以我们需要纠正一下$w$,也就是$w+yx$,在$w$上加上一个正向量，让$w$离$x$更近一些.
• x是负类，错分为正类,即$w^Tx>0$,$w$和$x$向量夹角是锐角，所以我们需要纠正一下$w$,也就是$w+yx$,在$w$上加上一个负向量，让$w$离$x$更远一些

Guarantee of PLA

如果要保证PLA是收敛的，前提是数据集是线性可分的(Linear Separability)

算法的收敛性

(1)由于训练数据是线性可分的，存在超平面可将训练数据集完全正确分开，取此超平面为$\hat{w}_{opt}\cdot\hat{x} = 0$,使$\Vert{\hat{w_{opt}}}\Vert^2=1$对于训练数据集均有

$$y_i(\hat{w}_{opt}\cdot\hat{x_i})>0$$
所以存在
$$\gamma = \min_i\{y_i(\hat{w}_{opt}\cdot\hat{x_i})\}$$
使
$$y_i(\hat{w}_{opt}\cdot\hat{x_i}) \ge \gamma$$

(2)

$$\begin{align} \hat{w_k}\hat{w_{opt}} & = \hat{w_{k-1}}\cdot\hat{w_{opt}} +y_i\hat{w_{opt}}\cdot \hat{x_i}\\ & \ge \hat{w_{k-1}}\cdot\hat{w_{opt}} + \gamma \\ & = k\gamma \end{align}$$

(3)

因为

$$y_i(\hat{w_{k-1}}\cdot\hat{x_i}) \le0$$
定义
$$R = \max_{1\le i \le N}\hat{x_i}$$
$$\begin{align} \Vert{\hat{w_k}}\Vert^2 &= \Vert{\hat{w_{k-1}}}\Vert + 2y_i\hat{w_{k-1}}\cdot \hat{x_i}+\Vert{\hat{x_i}}\Vert\\ & \le \Vert{\hat{w_{k-1}}}\Vert+\Vert{\hat{x_i}}\Vert\\ & \le \Vert{\hat{w_{k-1}}}\Vert+ R^2\\ & = kR^2 \end{align}$$

所以有

$$k \gamma \le\hat{w_k}\hat{w_{opt}} \le \Vert{\hat{w_k}}\Vert \cdot\Vert{\hat{w_{opt}}}\Vert \le \sqrt{k}R$$
$$k \le {(\frac{R}{\gamma})^2}$$
说明误分类的次数是有上界的，经过有限次搜索可以找到训练数据完全正确分开的的分离超平面，也就是说，当训练数据线性可分时，感知机学习算法形式迭代是收敛的