PLA感知机

PLA感知机

基本原理

输入特征向量x，有n个特征，每个特征有$w_i(1<=i<=n)$,即输出为$w^{T}x$,若大于阈值，则输出1，小于阈值，则输出-1。若阈值设为$w_0$

模型表达式$h(x)=sign({\sum }_{i=1}^n{w}_i{x}_i-w_0)=sign({\sum }_{i=1}^n{w}_i{x}_i-w_0(1))=sign({\sum }_{i=0}^n{w}_i{x}_i)$

Perceptron Learning Algorithm

基本思想：数据集可以被线性可分，先选取初始的系数$w_0$,先选取第一个错误的点，对参数进行更新，即$w_{t+1}=w_t+y_{i(t)}{x}_{i(t)}$。更新后，再选取第二个，第三个错误的点，直到所有的点都被修正后，就得到最好的直线。这种“逐步修正”，就是PLA的思想所在。

$x_{i(t)}$第t次修正下，$x_i$的值,且其值为列向量

更正原理：如果一个点为正的，即y为1，而错误的分类为负的，对这个点进行修正。对于此点：$w_{i(t)}^T{x}_{i(t)}<0(0<=i<=n)$,由于点乘内积关系，即向量$w_i$与向量$x_i$相差大于90度，而对于直线$y=w_{i}x$来说，$w_i$是直线y的法向量，则，点$x_i$被误分为直线的下方，经过一次或几次参数更新$w_{t+1}=w_t+y_{i(t)}{x}_{i(t)}$后，使得分类错误的点得到修正。

$w_{t+1}=w_t+y_{i(t)}{x}_{i(t)}$是向量的加法

错误分类成正的，也同理，因为y变成了-1

Guarantee of PLA

PLA只会在线性可分的情况下停止更新，在非线性可分的情况下不会停止。

有限次数更新原理：

如果有一条直线可以线性可分，此时参数为$w_f$，则$y_{i(t)}{w}_{f(t)}^T{x}_{i(t)}>=mi{n}_n{y}_n{w}_{f(t)}^T{x}_{n(t)}>0$

PLA中$w_f^T{w}_{t+1}$越来越大，就表示两者在接近，证明PLA是有学习效果的

$w_f^T{w}_{t+1}=w_f^T(w_t+y_{n(t)}{x}_{n(t)})>=w_f^T{w}_t+mi{n}_n{y}_n{w}_{f(t)}^T{x}_{n(t)}>w_f^T{w}_t+0$

但是也有可能是由于模变长了，故而证明$w_{t+1}$和$w_t$的模关系

$||w_{t+1}|{|}^2=||w_t+y_{i(t)}{x}_{i(t)}||=||w_t|{|}^2+2y_{n(t)}{w}_t^T{x}_{n(t)}+||y_{n(t)}{x}_{n(t)}|{|}^2<=||w_t|{|}^2+ma{x}_n||y_n{x}_n|{|}^2$

故而增量是有限的，向量的长度差别不会太大

设初始权重为$w_0$，经过T次修改后，有如下结论：

即PLA会停止下来，（T）有上界。

Non-Separable Data

但是在实际中，是很难完全，线性可分的，有部分噪声点，故更新公式为

$w_{t+1}=argma{x}_w{\sum }_{i=1}^n{y}_n\ne sign(w^T{x}_n)$

修改后的PLA被称为Packet Algorithm，与PLA基本类似。相处时化$w_0$，在逐个点更新，更新w时，得到一条新的直线，在计算其对应的分类错误点时，与之前错误点个数相比，谁少取谁。