统计学习方法-李航 学习笔记-第二章、感知机

2.1模型
2.2学习策略
2.3算法
2.4算法的收敛性
2.5学习算法的对偶形式
      PLA 属于二类分类的线性分类模型，对应于输入空间中将实例划分为正负两类的**分离超平面**，属于判别模型。
线性方程w⋅x+b=0对应于特征空间中的一个超平面S，其中w是超平面的法向量，b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点（特征向量）被分为正负两类，因此超平面S称为分类超平面。

2.1模型
  输入空间：X  输出空间：Y={-1，1}
模型：  ，其中
由训练集T={(x1,y1),(x2,y2),...(xn,yn)}计算得到f(x)

2.2策略
2.2.1数据集的线性可分
给定一个数据集，T，如果存在一个超平面S能够将数据集的所有正实例点和负实例点完全划分到超平面的两侧，则称T为线性可分数据集，否则为线性不可分。

2.2.2 学习策略
最小化损失函数，
任一点x到超平面的距离：。对于误分类的数据来说，成立。所以，误分类点到超平面的距离为。不考虑，所有误分类点到超平面的距离之和就是损失函数。
损失函数（经验风险函数）：，其中M为误分类点的集合。
感知机学习的策略是在假设空间中选取使损失函数最小的参数w，b，即感知机模型。

2.3 学习算法
2.3.1损失函数的最优化方法：梯度下降

当一个实例点被误分类，即位于分离超平面错误的一侧时，则调整参数w，b的值，使分离超平面向该误分类点的一侧移动，以减少误分类点与超平面之间的距离，直到超平面越过该误分类点，使其被正确分类。感知机学习算法由于采不同的初始值或者选取不同的误分类点（因为在选取误分类点的时候是随机选取的），最终解可以不同。

2.3.2 算法收敛性：经过有限次迭代，可以得到一个使训练集完全正确划分的分离超平面及感知机模型。
2.3.3 感知机学习的对偶形式
基本思想：将ω和b表示为实例和标记的线性组合的形式，通过求解其系数而求得ω和b。
逐步修改w，b，设修改n次，则关于(xi,yi)的增量分别为和，其中，这样，最后学习到的参数分别为： 
这里,i=1,2,  N.当学习率为1时，表示第i个实例点由于误分类而更新的次数。