《李航：统计学习方法》笔记之感知机

          感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。也是现代流行的深度学习网络模型的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。

1. 感知机模型

      感知机模型如下：

f(x)= sign(w*x+b)

      其中，x为输入向量，sign为符号函数，括号里面大于等于0，则其值为1，括号里面小于0，则其值为-1。w为权值向量，b为偏置。求感知机模型即求模型参数w和b。感知机预测，即通过学习得到的感知机模型，对于新的输入实例给出其对应的输出类别1或者-1。

2. 感知机策略

      假设训练数据集是线性可分的，感知机学习的目标就是求得一个能够将训练数据集中正负实例完全分开的分类超平面，为了找到分类超平面，即确定感知机模型中的参数w和b，需要定义一个损失函数并通过将损失函数最小化来求w和b。

       这里选择的损失函数是误分类点到分类超平面S的总距离。输入空间中任一点x ₀ 到超平面S的距离为：

其中，||w||为w的L2范数。

        其次，对于误分类点来说，当-y _i (wx _i + b)>0时，y _i=-1，当-y _i(wx _i + b)<0时，y _i=+1。所以对误分类点（x _i, y _i）满足：

-y_i (wx_i +b) > 0

所以误分类点（x _i, y _i）到分类超平面S的距离是：