感知算法

在线性分类任务中，我们通常使用线性分类函数来分类：$$d(\mathbf{x})=w_1{x}_1+w_2{x}_2+...+w_n{x}_n+w_0$$
增广权向量可表示为：$$\mathbf{w}=(w_1,w_2,...,w_n,w_0{)}^T$$
增广模式向量可表示为：$$\mathbf{x}=(x_1,x_2,...,x_n,1{)}^T$$
感知器算法就是对线性函数进行优化，找出权向量。

二分类的感知算法：

已知训练集可分为${\omega }_1$和${\omega }_2$，我们需要找出具有如下分类规则的权向量：
$$\{\begin{array}{c}{\mathbf{w}}^T{\mathbf{x}}_i>0,{\mathbf{x}}_i\in {\omega }_1\\ {\mathbf{w}}^T{\mathbf{x}}_i⩽0,{\mathbf{x}}_i\in {\omega }_2\end{array}$$
感知算法就是每次遍历所有的样本，在分类错误的样本下修正权向量$\mathbf{w}$，直至所有样本都能被正确的分类。遍历时，对于某个样本，有如下3种操作：
（1）若$\mathbf{x}\in {\omega }_1,{\mathbf{w}}^T{\mathbf{x}}_i⩽0$,此时权向量对${\mathbf{x}}_i$做了错误分类，需要对权向量修正：$$\mathbf{w}(t+1)=\mathbf{w}(t)+\eta {\mathbf{x}}_i$$
其中$\eta$是一个常数，校正增量，相当于学习率。表现在向量空间中为$\mathbf{w}(t)-(-\eta {\mathbf{x}}_i)=\mathbf{w}(t+1)$,此时分类边界向朝$\mathbf{x}$方向修正，即由红线转到绿线。

（2）若$\mathbf{x}\in {\omega }_2,{\mathbf{w}}^T{\mathbf{x}}_i>0$,此时权向量对${\mathbf{x}}_i$做了错误分类，需要对权向量修正：$$\mathbf{w}(t+1)=\mathbf{w}(t)-\eta {\mathbf{x}}_i$$
表现在向量空间中为$\mathbf{w}(t)-\eta {\mathbf{x}}_i=\mathbf{w}(t+1)$,此时分类边界向朝$\mathbf{x}$方向修正，即由红线转到绿线。

(3)若未出现上述情况，表明分类正确，$\mathbf{w}(t+1)=\mathbf{w}(t)$
结论： 只要模式类别是可分的，那么该算法必定会收敛，即在有限的步数内得到权向量。
算法可总结为：
$$\mathbf{w}(t+1)=\{\begin{array}{c}\mathbf{w}(t)+\eta {\mathbf{x}}_i,if\mathbf{x}\in {\omega }_1,{\mathbf{w}}^T(t){\mathbf{x}}_i⩽0\\ \mathbf{w}(t)-\eta {\mathbf{x}}_i,if\mathbf{x}\in {\omega }_2,{\mathbf{w}}^T(t){\mathbf{x}}_i>0\\ \mathbf{w}(t),ifother\end{array}$$
两种方法对公式进行化简：
(1)如果对${\mathbf{x}}_i\in {\omega }_2$的模式样本都乘$-1$，此时${\mathbf{w}}^T(-{\mathbf{x}}_i)<0$时需要调整权向量向${\mathbf{w}}^T(-{\mathbf{x}}_i)\ge 0$靠近。也可以写成${\mathbf{w}}^T(-{\mathbf{x}}_i)\le 0$时需要调整权向量向${\mathbf{w}}^T(-{\mathbf{x}}_i)>0$靠近。区别是前者要求${\mathbf{w}}^{\mathbf{T}}\mathbf{x}\le 0,{\mathbf{x}}_i$才属于${\omega }_2$;后者要求${\mathbf{w}}^{\mathbf{T}}\mathbf{x}<0,{\mathbf{x}}_i$才属于${\omega }_2$,这两种都可以。我们采用后者，所以此时的更新规则的形式和（1）相同。
$$\mathbf{w}(t+1)=\mathbf{w}(t)+\eta (-{\mathbf{x}}_i)$$
求解之前，对所有$\in {\omega }_2$的样本进行$-1$操作更新样本，上述的感知器算法可写为：$$\mathbf{w}(t+1)=\{\begin{array}{c}\mathbf{w}(t),if{\mathbf{w}}^T(t){\mathbf{x}}_i>0\\ \mathbf{w}(t)+\eta {\mathbf{x}}_i,if{\mathbf{w}}^T(t){\mathbf{x}}_i\le 0\end{array}$$
（2）假设${\omega }_1$对应的标签为为+1，假设${\omega }_2$对应的标签为为+1。
$$\mathbf{w}(t+1)=\{\begin{array}{c}\mathbf{w}(t),if{y}_i{\mathbf{w}}^T(t){\mathbf{x}}_i>0\\ \mathbf{w}(t)+\eta y_i{\mathbf{x}}_i,if{y}_i{\mathbf{w}}^T(t){\mathbf{x}}_i\le 0\end{array}$$
上面有向量的形式证明了上式的合理性，下面用数学公式证明：
$$\begin{gathered} y_i{\mathbf{w}}^T(t+1){\mathbf{x}}_i>y_i{\mathbf{w}}^T(t){\mathbf{x}}_i \\ {y}_i{\mathbf{w}}^T(t+1){\mathbf{x}}_i=y_i[{\mathbf{w}}^T(t)+\eta y_i{\mathbf{x}}_i^T]{\mathbf{x}}_i=y_i{\mathbf{w}}^T(t)+\eta y_i^2{\mathbf{x}}_i^T{\mathbf{x}}_i>y_i{\mathbf{w}}^T(t){\mathbf{x}}_i \end{gathered}$$
例子：
数据点$(0,0),(0,1)\in {\omega }_1$,$(1,0),(1,1)\in {\omega }_2$。求解一条线性分类函数的权向量过程。
可得到分类函数为$d(\mathbf{x})=-2x_1+1$

import numpy as np
x1 = [np.array([0, 0]), np.array([0, 1])]
x2 = [np.array([1, 0]), np.array([1, 1])]

for i in range(len(x1)):
    x1[i] = np.hstack((x1[i], [1]))
for i in range(len(x2)):
    x2[i] = np.hstack((x2[i], [1]))
    x2[i] = -x2[i]

x = x1 + x2

w = [0, 0, 0]
count = 1
step = 1
while True:
    print('The step'+str(step))
    flag = True
    for i in range(len(x)):
        if np.dot(w, x[i]) <= 0:
            flag = False
            tmp_w = w
            w = w + x[i]
            print('w'+str(count)+'^T*x'+str(i)+'=',str(tmp_w), str(x[i])+'^T<=0,',
                  'w'+str(count+1)+'=w'+str(count)+'+x'+str(i)+'=', str(w)+'^T')
        else:
            print('w' + str(count) + '^T*x' + str(i) + '=', w, str(x[i]) + '^T>0,',
                  'w' + str(count+1) + '=w' + str(count) + '=', str(w) + '^T')
        count += 1
    step = step + 1
    if flag is True:
        break

print('Perception weight vector:', w)

多分类的感知算法

对$M$类模式分类问题，往往具有$M$个判别函数$d_k,k=1,2,...,M$。若$x\in {\omega }_k$,则有$d_k(\mathbf{x})>d_j(\mathbf{x}),\forall j̸=k$。
在第$t$次迭代中，对于某个属于${\omega }_k$的样本,首先计算M个判别函数的值：$$d_j(\mathbf{x})={\mathbf{w}}_j^T(t)\mathbf{x},j=1,2,...,M$$
(1)若$d_k(\mathbf{x})>d_j(\mathbf{x}),\forall j̸=k$成立，则权向量不变。$${\mathbf{w}}_j(t+1)={\mathbf{w}}_j(t),j=1,2,...,M$$
(2)若$\exists j̸=k$，使得$d_k(\mathbf{x})\le d_j(\mathbf{x})$,则有如下更新规则。
$$\{\begin{array}{c}{\mathbf{w}}_k(t+1)={\mathbf{w}}_k(t)+\eta {\mathbf{x}}_i,此时可以使得{\mathbf{w}}_k(t)向{\mathbf{w}}_k(t){\mathbf{x}}_i增大的方向调整\\ {\mathbf{w}}_j(t+1)={\mathbf{w}}_j(t)-\eta {\mathbf{x}}_i,此时可以使得{\mathbf{w}}_j(t)向{\mathbf{w}}_j(t){\mathbf{x}}_i减小的方向调整\end{array}$$