【笔记】《统计学习方法》(2)感知机

简书：https://www.jianshu.com/p/eb9d50312de8

第2章 感知机

1. (模型)感知机(perceptron)是一种线性分类模型，属于判别模型，感知机模型的假设空间是定义在特征空间中的所有线性分类模型(linear classification model)或线性分类器(linear classifier)，即函数集合$\{f|f(x)=wx+b\}$
2. 感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。
3. (策略)损失函数的一种选择是误分类点数，但是这样损失函数不是参数w，b的连续可导函数，不易优化。另一种选择是误分类点到超平面S的总距离。最后损失函数定义为：
   $$L(w,b)=-\sum_{x_i\in M} y_i(w \cdot x_i +b)$$
4. (算法)感知机学习算法具体采用随机梯度下降法(stochastic gradient descent)，每次迭代随机选取一个误分类点进行梯度下降
5. 感知机学习算法的原始形式
   输入：训练数据集$T={(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}$，其中$x_i \in \mathcal{X} = \mathbf{R}^n,y_i \in \mathcal{Y} =\{-1,+1\},i=1,2,...,N$；学习率$\eta(0\lt\eta\le1)$
   输出：$w,b$；感知机模型$f(x)=sign(w \cdot x +b)$
   (1)选取初值$w_0,b_0$
   (2)在训练集中选取数据$(x_i,y_i)$
   (3)如果$y_i(w\cdot x_i+b)\le0$
   $$w \leftarrow w+\eta y_i x_i\\ b \leftarrow b+\eta y_i$$
   (4)转至(2)，直至训练集中没有误分类点
6. 当训练集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡
7. 感知机学习算法的对偶形式中训练实例仅以内积的形式出现。可预先计算各个实例间的内积并以矩阵形式存储。即Gram矩阵(Gram matrix)
   $$G=[x_i \cdot x_j]_{N\times N}$$
8. 感知机学习算法的对偶形式
   输入：训练数据集$T={(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}$，其中$x_i \in \mathcal{X} = \mathbf{R}^n,y_i \in \mathcal{Y} =\{-1,+1\},i=1,2,...,N$；学习率$\eta(0\lt\eta\le1)$
   输出：$\alpha,b$；感知机模型$f(x)=sign(\sum\limits_{j=1}^N \alpha_j y_j x_j \cdot x +b),\alpha=(\alpha_1,\alpha_2,...,\alpha_N)^T$
   (1)$\alpha \leftarrow 0,b \leftarrow 0$
   (2)在训练集中选取数据$(x_i,y_i)$
   (3)如果$y_i(\sum\limits_{j=1}^N \alpha_j y_j x_j \cdot x_i +b)\le0$
   $$\alpha_i \leftarrow \alpha_i + \eta\\ b \leftarrow b+ \eta y_i$$
   (4)转至(2)，直至训练集中没有误分类点