感知机模型的原理

1. 感知机模型
2. 感知机学习策略

3. 感知机学习算法

   本文参考 《统计学习方法》 李航

感知机模型

1.什么是感知机：
感知机是一个二分类线性分类模型，输入为实例的特征向量，输出为实例的类别。感知机学习旨在求出将训练数据分离的线性划分超平面。
2.感知机由输入到输出的映射：

$$f(x)=sign(\omega x+b)$$
其中 $\omega$和 $b$是感知机的参数， $\omega\in R^n$为权值向量，b是偏置量， $sign$是符号函数，其中 $\omega x + b= 0$对应 $R^n$空间的一个超平面，将空间线性划分为两部分，在超平面的上下被分为正负两类，用+1，-1表示。
对于一个数据集，如果所有的正负实例都能够被一个超平面分开，则称这个数据集是线性可分的，感知机针对的是线性可分的数据集，对于这样一个数据集，学习一个参数 $\omega$和 $b$来进行分类。

感知机学习策略

1.损失函数
根据$w$与 $b$，定义一个损失函数，并使得损失函数最小化。首先，$R^n$空间中任意一点 $x_0$到超平面的距离为

$$\frac{1}{||w||}|\omega x_0 + b|$$ 学习过程中，当点发生错误分类时， $y_i$与 $(\omega x_0 + b)$的符号相反，且其乘积为1。那么假设超平面S的所有错误分类的点的集合为M，那么所有错误分类的点到超平面的距离总和为

−1||ω||