《机器学习基石》台大林轩田_学习笔记02_Learning to Answer Yes/No

Lecture 2: Learning to Answer Yes/No

https://www.cnblogs.com/xbf9xbf/p/4571811.html

1 Perceptron Hypothesis Set

perceptrons 感知机<=>linear(binary) classifiers 线性分类器
For $\text{x}=(x_1,x_2,...,x_n)$
$Y:+1,-1$
$h(\text{x})=sign(({\sum }_{i=1}^n{w}_i{x}_i)-\theta )=sign({\sum }_{i=0}^n{w}_i{x}_i)=sign({\text{w}}^T\text{x})$

2 Perceptron Learning Algorithm（PLA）

知错能改算法
感知机学习策略的几何意义：表示超平面法向量的旋转方向

【注】每次都会根据一个错分类的样本进行调整，但是一次调整后并不能保证这个点一定能正确分类
（以$y_i=+1$为例，若$w_t$向量很长，$x_i$很短，且$w_t$与$x_i$的夹角特别大，那么就可能出现$w_t+y_i{x}_i$之后还是不能保证$w_{t+1}{x}_i$是正的，也就是夹角转不过来）
具体描述如下：
假设样本$i$被错分类，则$y_i{w}_t^T{x}_i<0$
更新权重后 $y_i{w}_{t+1}^T{x}_i=y_i(w_t+y_i{x}_i{)}^T{x}_i=y_i{w}_t^T{x}_i+y_i^2{x}_i^T{x}_i$
虽然后面一项是大于0的数，但如果$|y_i{w}_t^T{x}_i|>|y_i^2{x}_i^T{x}_i|$，该样本还是被错误分类的

3 Guarantee of PLA

找到一条线，使得没有错分类的时候，算法停止。
数据必须线性可分（linear separable）

1. 首先假设数据是线性可分的，在此条件下，我们认为存在一个理想的超平面法向量$wf$

2. 我们认为$w$越接近$w_f$越好

3. 认为向量的内积越大，越接近（夹角越小）<但是也要考虑长度>
   
   上图证明了感知机算法可以保证权重每次更新都会更加接近$w_f$

4. 权重每次更新，长度也会发生变化，下图证明了权重的长度增长速度是有上限的
   

5. 因此可证明经过一定次数的迭代，算法策略是收敛的。即证明下图式子：
   

6. 证明思路：
   1）$w_f$和$w$的内积会越来越大
   2）$w$的长度每次增幅有限
   具体证明如下：
   

• 感知机的优缺：
  优点：简单易实现、快速，可用于任意维度
  缺点：需要假设数据集必须线性可分；不知道感知机多久才会停

4 Non-Separable Data

可能存在以下情况：数据本身线性可分，但是因为有噪声导致线性不可分
对于非线性可分的问题，找到一个超平面，错分类数最少（NP-hard）

解决办法
Pocket Algorithm：每次迭代都保留分类效果最好的权重。经过多次迭代后，逼近最优超平面。

若对于一个确实线性可分的数据，采用pocket algorithm比PLA算法更慢，因为每次迭代都需要对所有数据进行比较，选出更好的超平面。