感知机理论+r实现 统计学习方法笔记

感知机模型

定义：
假设输入空间对应全体实数空间，输出空间对应-1，+1.
由输入空间到输出空间的如下函数:

称为感知机。w和b为参数。w是全值向量，b叫做偏值。w·x是内积
感知机模型的假设空间是定义在特征空间中的所有线性分类模型。

直观上的理解：
感知机 (perceptron) 是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取 +1 和一 值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，线性分类模型，属于判别模型。

超平面：超平面是指 n 维线性空间中维度为 n-1 的子空间，它可以将线性空间分成两个互不相交的两部分

对应于特征空间 Rn 中的一个超平面s，w是超平面的法向量，b是其截距。超平面将特征空间划分为两个部分。位于两部分的点(特征向量)分别被分为正、负两类。因此，超平面被称为分离超平面。

感知机的学习策略

为了能找出可以将正实例点和负实例点完全分开的超平面，需要制定策略即确定感知机模型参数w,b，需要定义(经验)损失函数并将损失函数极小化。

感知机所采用的损失函数是误分类点到超平面的总距离。
首先定义出输入空间中任意一点 x0 到超平面的距离：其中||w||是w的L2范数
其次对于误分类的数据来说， 当 w·xi+b>0 时，yi=－1，。因此，误分类点 Xi 到超平面 的距离是：这样，假设超平面的误分类点集合为 M，那么所有误分类点到超平面 的总距离为：

·
·
因此定义感知机 sign(w•x+b)的损失函数为：
损失函数时非负的，如果没有误分类点，则损失函数L=0

感知机学习算法

初始形式

定义学习率，即步长η∈(0,1]。初始值为1. 输出：w，b。感知机模型：fx=sign（w·x+b） 。

···1.选取初值w0，b0（任意一个超平面）
···2. 随机选取一个点，若