感知机模型
定义:
假设输入空间对应全体实数空间,输出空间对应-1,+1.
由输入空间到输出空间的如下函数:
称为感知机。w和b为参数。w是全值向量,b叫做偏值。w·x是内积
感知机模型的假设空间是定义在特征空间中的所有线性分类模型。
直观上的理解:
感知机 (perceptron) 是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取 +1 和一 值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,线性分类模型,属于判别模型。
超平面:超平面是指 n 维线性空间中维度为 n-1 的子空间,它可以将线性空间分成两个互不相交的两部分
对应于特征空间 Rn 中的一个超平面s,w是超平面的法向量,b是其截距。超平面将特征空间划分为两个部分。位于两部分的点(特征向量)分别被分为正、负两类。因此,超平面被称为分离超平面。
感知机的学习策略
为了能找出可以将正实例点和负实例点完全分开的超平面,需要制定策略即确定感知机模型参数w,b,需要定义(经验)损失函数并将损失函数极小化。
感知机所采用的损失函数是误分类点到超平面的总距离。
首先定义出输入空间中任意一点 x0 到超平面的距离:其中||w||是w的L2范数
其次对于误分类的数据来说, 当 w·xi+b>0 时,yi=-1,。因此,误分类点 Xi 到超平面 的距离是:这样,假设超平面的误分类点集合为 M,那么所有误分类点到超平面 的总距离为:
·
·
因此定义感知机 sign(w•x+b)的损失函数为:
损失函数时非负的,如果没有误分类点,则损失函数L=0
感知机学习算法
初始形式
定义学习率,即步长η∈(0,1]。初始值为1. 输出:w,b。感知机模型:fx=sign(w·x+b) 。
···1.选取初值w0,b0(任意一个超平面)
···2. 随机选取一个点,若