统计学习方法（机器学习）—— 2、感知机

感知机

---

1、感知机模型

        感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。感知机对应于输出空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。

定义

        假设输入空间是$X$，输出空间是$Y$。输入$x\in X$表示实例的特征向量，对应于输入空间（特征空间）的点；输出$y\in Y$表示实例的类别。感知机就是由输入空间到输出空间的函数：
$$f(x)=sign(w\cdot x+b)$$

几何解释

        线性方程：
$$w\cdot x+b=0$$对应于特征空间$R^n$中的一个超平面$S$，其中$w$是超平面的法向量，$b$是超平面的截距。

---

2、感知机学习策略

        如果数据集是线性可分的，感知机的学习目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。为了找到这样的超平面，即确定感知机模型的参数$w,b$，需要定一个学习策略，即定义经验损失函数并将其最小化。
        损失函数似乎可以是误分类点的总数，但是这样的损失函数不是参数$w,b$的连续可导函数，不易优化。所以把损失函数定义为误分类点到超平面$S$的总距离。
        输出空间$R^n$中任意一点$x_0$到超平面$S$的距离是： 1 ∣ ∣ w ∣ ∣ ∣ w ⋅