《统计学习方法》第二章 感知机

2.1感知机模型

1. 感知机（perceptron）：二类分类的线性分类模型，属于判别模型。（神经网络与支持向量机的基础）。
2. 感知机学习旨在求出将训练数据进行线性化分的分离超平面。
3. 
4. 几何解释：
   线性方程：w*x+b=0.对应于特征空间Rⁿ中的一个超平面S，w是超平面的法向量，b是超平面的截距。超平面将特征空间划分了两部分。

2.2 感知机学习策略

1. 数据集的线性可分性。
2. 学习策略：定义（经验）损失函数并将损失函数极小化。感知机采用的损失函数是误分类点到超平面S的总距离。
3. 感知机的损失函数：
   

2.3 感知机学习算法

2.3.1 感知机学习算法的原始形式

感知机学习算法是误分类驱动的。采用随机梯度下降法（stochastic gradient descent），一次随机选取一个误分类点使其梯度下降


感知机学习算法由于采用不同的初值或选取不同的误分类点，解可以不同。

2.3.2 算法的收敛性

定理表明，误分类的次数k是有上界的，经过有限次搜索可以找到将训练数据完全正确分开的分离超平面。也即：当训练数据集是线性可分时，感知机学习算法原始形式迭代是收敛的。为了得到唯一的超平面，需要对分离超平面增加约束条件。

感知机学习算法的对偶形式

对偶： 数学中的对偶问题
感知机不能表示异或