机器学习基石-2-Learning to Answer Yes/No

标签（空格分隔）： 机器学习基石

---

感知器 perceptron

$$\begin{aligned} h(\mathbf{x})&=sign\left( \left( \sum^d_{i=1}w_ix_i \right)+\underbrace{(-threshold)}_{w_0}\cdot\underbrace{(+1)}_{x_0} \right)\\ &=sign\left( \sum^d_{i=0}w_ix_i \right)\\ &=sign(\mathbf{w}^\top\mathbf{x}) \end{aligned}$$ 第一课就解释了这个感知器模型

---

perceptron learning algorithm (PLA)
知错能改学习法！
（1）find a mistake

$$sign(\mathbf{w}_{t}^{\top}\mathbf{x}_{n(t)})\neq y_{n(t)}$$
（2）correct the mistake $$\mathbf{w}_{t+1}\leftarrow\mathbf{w}_{t}+y_{n(t)}\mathbf{x}_{n(t)}\ \ \ \ \ \ \ (2)$$
想问问，怎样使直线旋转的，通过改变 $\mathbf{w}$???不明白，PPT上还画了那么多的图。。。
习题：说明这个更新的规则真的有修正作用
两边同乘 $y_nx_n$
公式(2)变成， $$\mathbf{w}_{t+1}y_nx_n\leftarrow\mathbf{w}_{t}y_nx_n+\left(y_{n(t)}\mathbf{x}_{n(t)}\right)^2$$ 故有：
$$\mathbf{w}_{t+1}\geqslant \mathbf{w}_{t}$$

---

为了证明PLA，确实有“修正”，以及可以“终止”的两个性质
主要利用“两个向量的内积越大，两个向量越相似，而且，向量内积的最大值只能是1”

$$\mathbf{w}^\top_f\mathbf{w}_{t+1}>\mathbf{w}^\top_f\mathbf{w}_{t}+0$$
$\mathbf{w}_{t+1}$和 $\mathbf{w}_f$的内积比之前大，证明这两个向量越相似，越逼近；但是向量内积最大值是1，故PLA一定会halt（停止）！！
$$\frac{\mathbf{w}_f^\top}{\|\mathbf{w}_f\|}\frac{\mathbf{w}_T}{\|\mathbf{w}_T\|}\geqslant \sqrt{T}\cdot constant$$
习题：没看懂

---

PLA优点：适合多维
PLA缺点：不适合非线性可分的情况，不知道收敛时间
用PLA处理noise问题是N-P问题
引入Pocket Algorithm:抓一条最好的线，不停的更换，不是同PLA一样没错，而是错最少！速度比PLA慢！