经典分类算法——感知机算法

经典分类算法——感知机算法

​ 二维分类问题是一个经典的机器学习问题，感知机算法(Perception Approach)是解决该问题的经典算法之一。虽然其本身是一类简单的线性判别算法，但是通过扩展又可以与许多其他算法密切相关。因此感知机算法尽管很少单独使用，但它对于理解其他模型和算法非常有用，是建立知识体系的一个枢纽。

1 感知机算法思想：错误修正

2 感知机算法（原始形式）：形式化表示

​ 当一个点被误分类位于分类超平面错误一侧时，则调整w，b的值，使分类超平面向该误分类点的一侧移动，以减少该误分类点与超平面之间的距离，直至分类超平面越过该误分类点使其被正确分类。

3 感知机算法（对偶形式）：形式化表示

4 感知机算法：随机梯度下降（SGD）

​ 梯度的本意是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（梯度的方向）变化最快，变化率最大（为该梯度的模）。

在机器学习算法中，有时候需要对原始的模型构建损失函数，然后通过优化算法对损失函数进行优化，以便寻找到最优的参数，使得损失函数的值最小，其中使用较多的就是基于梯度下降的优化算法(Gradient Descent, GD)，而在梯度下降算法中随机梯度下降法(Stochastic Gradient Descent, SGD)应用较为广泛，它采用单个训练样本的损失来近似平均损失，每次只随机抽取一条数据来做梯度下降，接近全局最优，大大减小了计算消耗。

随机梯度下降法的求解过程可以概括如下：

1-随机一个初始值,在多元线性回归中，我们随机一组 ,带入到损失函数中,得到一个初始点。

2-让这个点按照负梯度的方向运动，更新参数𝜃

3-迭代第二步,当迭代此处达到某一个数，或者上一步和这一步的结果误差小于某个数,就认为是最优解了，停止迭代。迭代次数和最小误差值都是可以设置的.

5 感知机算法：一种变形

6 感知器算法：示例

7 感知器算法：拓展——多分类

8 感知机算法：小结

• 感知机算法是一种朴素简单的算法，通过随机梯度下降不断修正错误直至满足分类正确或达到要求。
• 感知机算法是后面许多分类算法的鼻祖，比如SVM、深度神经网络。
• 单层感知机只能对线性可分的向量进行分类，两层及以上的感知机可以模拟任意的函数，后来逐渐演变发展为深度学习中的神经网络。