感知机perceptron--二维平面上点的分类

声明：本人也是初次接触机器学习相关的知识，文章仅仅记录当前的学习情况，参考书主要是李航老师的《统计学习方法 第二版》，其间可能会有不正确的，可以评论或私信我

引例：

如果直线能够刚好把二维平面上的点分为两类，那这条线就是一条好的直线，当然，这是一种理想情况；如果不能划分的情况下，直线就得有一个量化标准，来找到一条比较好的直线，这个标准，就是后面所要学的损失函数。
而这个量化标准，一般取以下两种：

1. 误分类点的个数
2. 误分类点到超平面的几何间距的总和
   注：超平面和几何间距会在下方解释

前导知识

超平面：

n维线性空间中维度为n-1的子空间，它可以把线性空间划分为不相交的两部分。
如：二维平面上的一条直线，三维空间中的一个二维平面

超平面的法向量：

就是垂直于超平面的向量。假设 超平面为 w.x + b = 0，则w就是超平面的法向量
证明：
假设x₁、x₂是超平面上任意两点，但不相同，则可得方程组 w.x₁+b=0, w.x₂+b=0,令两式相减可得 w.(x₁-x₂) = 0，而x₁与x₂并不相同，也就是说w与x₁-x₂向量内积为0，就是w垂直x₁-x₂

点到超平面的距离

函数间距：
假设 超平面为w.x + b = 0，则点到超平面的函数间距就是d = | w.x_i + b |
但此时存在一个问题，如果坐标系被等比例放大或缩小，这个间距d也会随着变化。
如： 坐标系被放大k倍，此时的函数间距d = k| w.x_i + b |，算法是聪明的，当它发现不断地等比例缩小会使得距离变小时，他就会不断地尝试，此时，所得到的结果是没有意义的

几何间距：
假设 超平面为w.x + b = 0，则点到超平面的几何间距就是d = | w.x_i + b | / || w ||
== || w || 是w的l2范数，也就是w的模==
证明：
假设x₁是超平面上任意一点，求点x_i到超平面的距离
d = &