经典机器学习算法：感知机

基于李航教授的《统计学习方法》，本博客为个人学习笔记。

一、模型

感知机是二分类的线性分类模型。
感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。

由输入空间到输出空间如下函数，使用符号函数可以区分开两个类别的输出。

以下为感知机模型的二维直观展示。

对于数据集使用该算法的前提是，线性可分，因为感知机实际上就是一个超平面将空间划开两部分。
超平面拓展：在几何体中，超平面是一维小于其环境空间的子空间。 如果空间是3维的，那么它的超平面是二维平面，而如果空间是二维的，则其超平面是一维线。 该概念可以用于定义子空间维度概念的任何一般空间。对于更高维度空间，是不好描述的，在四维空间对应的超平面就是三维空间，用时间作为第四维度也是可以说得通的。

二、策略

学习策略，即为定义（经验）损失函数并将损失函数极小化。

感知机采用的损失函数是误分类点到超平面S的总距离，当极小化，总距离=0时，误分类点总数为0，即达到期望目标。

因此损失函数定义为

三、算法

算法，即选择优化损失函数的方法，一般梯度下降是很常见的算法。

具体算法采用的不是批量梯度下降，而是随机梯度下降。
在随机梯度下降时，每次随机选取一个误分类点使其梯度下降。
这种梯度下降方法在后面被证明了是可以在一定时间内完成的。

算法流程：