1、判别分类模型
假设输入空间X中的每个特征x取值为实数集,输出空间y = {-1,+1},那么一个分类器可以表示为二值函数
其中输出值为1的样本为正例,输出值为-1的样本为负例。线性感知机的假设前提是样本空间线性可分,既有一个超平面能够将特征空间划分为两个部分
2、感知机模型
若给定的向量特征向量X带入g(x) 0则样本为正例,否则为负例。那么对感知机的学习过程就是对w, b的估计
3、损失函数
感知机的学习过程是定义一个损失函数,通过学习策略使得损失函数的值最小化。它的定义为误分类点到超平面的的总距离,点到超平面的距离定义为
是
的L2范数,对于误分类点(x,y)来说 -y(wx + b)>0。因此误分类点到超平面的总距离为
与支持向量机不同,线性感知机不需要考虑最大间隔问题,所以不考虑,那么最终的损失函数为
4、学习算法
感知机学习算法是误分类驱动的。具体采用随机梯度下降的方法。任意选取一个超平面w,b然后用梯度下降的法部队极小化目标函数,极小别化的过程不是一次使无分类集合M中的所有误分类点的梯度下降,儿是一次随机选取一个误分类点使其梯度下降。损失函数L的梯度是对w,b分别求偏导
(1)、选取初值w,b
(2)、在训练集中选取数据(xi,yi)
(4)、转至(2), 直到训练集没有误分类点
5、对偶形式
所以损失函数为
梯度为
6、Gram矩阵