统计学习方法（第2章）感知机 学习笔记

第2章 感知机

感知机是二类分类的线性分类模型，其输入为实例的特征向量，感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法分为原始形式和对偶形式，是神经网络和支持向量机的基础。

1.感知机模型

　　感知机定义：

　　　　假设输入空间（特征空间）是X，输出空间是Y，Y的取值为+1和-1，输入x表示实例的特征向量，对应于输入空间（特征空间）的；输入y表示实例的类别。由输入空间到输出空间的如下函数：

　　　　　　　　f(x) = sign(w · x + b)

称为感知机，w、b为模型参数，w为权值或权值向量，b为偏置，w·x表示为二者内积。几何上来说，w·x+b=0对应于特征空间的一个超平面，w是超平面的法向量，b是超平面的截距。也就是找到一个超平面将数据的正负实例分开。