《统计学习方法(第二版)》学习笔记 第二章 感知机

这一块因为最近要讲组会，所以做了ppt，就结合着ppt再做点总结吧。想要讲明白一个算法，总是要从三个方面入手的：模型、学习准则和优化方法，我也不例外，所以接下来也是从这三个方面来总结感知机的相关内容。

感知机模型

​ 下图给出了感知机的一般形式。由给出的公式可知，感知机实际是确定了一个分离超平面，由数学定义可知，当点在这个分离超平面上，值为0；当点在分离超平面之上，值大于0；当点在分离超平面之下，值小于0。感知机正是通过确定一个分离超平面，来将不同的数据类别划分在超平面的两边。

​ 那么为什么$wx+b$代表了一个分离超平面呢？同样，我们需要从数学层面来考虑这个问题，如下图首先我们给出如何根据法向量和一个固定点确定一个平面的点法式。

​ 再对得到的点法式进行整理，可得到如下的表达式，将其与感知机的表达式进行对比，可以证明感知机的确是确定了一个超平面用于对线性可分的数据点集进行划分

​ 在明确了感知机实际是通过确定一个分离超平面来对线性可分的二分类数据集进行分类之后，我们还应该来讨论一下究竟怎么样的数据集才是线性可分的。首先给出数据集的线性可分性的定义。

​ 根据公式来判断数据集是否线性可分比较抽象，那么是否有更直观的方法可以来判断呢？我们可以通过凸包来判断数据集是否线性可分，凸包的定义如下图，我们可以简单理解为用一根绳子分别将各个类别的数据点紧紧包围起来，那么绳子必定会经过每个类别最外围的那些数据点并形成一个凸包，最后判断凸包之间是否相交，如果不相交则线性可分。如下中的第三个图，根据凸包的判断方法，很明显并不是线性可分的。

感知机学习准则

​ 感知机学习准则的选择是可以从多个方向来考虑的：

​ 至于点到平面的距离如何计算，简单的计算过程如下：

​ 在感知机中，损失函数是针对误分类点来说的，即正确分类的点的损失为0，而误分类点的损失值为点到超平面的距离。考虑到误分类点的类别，误分类点的损失函数可以表示为：

​ 在进一步，我们可以不考虑点到超平面的距离公式中的分母部分，从而得到最终的损失函数。那么为什么可以不考虑分母呢，这也是值的思考的一个问题。

感知机优化方法-梯度下降

​ 在感知机学习算法中，才有的参数优化方法为梯度下降算法。首先我们将感知机学习问题转化为一个优化问题：

​ 具体的梯度下降计算过程如下：

总结

感知机学习算法其实是非常简单的一个算法。在模型结构上感知机实际上是神经网络的前身，，在确定一个分离超平面来数据进行划分这个思想上，感知机又是和SVM类似的。总而言之，感知机的理解难度并不高，但它所包含的经典的思想使得它依旧值得我们去好好学习。

，感知机的理解难度并不高，但它所包含的经典的思想使得它依旧值得我们去好好学习。