【感知机】—— 感知机算法原理及Python实现

感知机（Perceptron）

二分类模型、线性分类模型、判别模型

• 输入：为实例的特征向量

• 输出：实例的类别，取+1和-1

1. 感知机的原始形式

• 模型：寻找能够将训练数据进行线性划分的分离超平面

  • 感知机模型： $f(x)=sign(w\ast x+b)$
    （w权值、b偏置为感知机模型参数，w*x表示内积，sign为符号函数）
    几何解释：w是超平面的法向量，b为超平面的截距

• 策略： 建立误分类的损失函数，误分类点到超平面的总距离，损失函数是连续可导函数

• 损失函数： $\underset{w,b}{\min }L(w,b)=-\Sigma y_i(w\ast x_i+b)$

• 算法： 利用随机梯度下降法 Stochastic Gradient Descent，对损失函数进行极小化求解，求得感知机模型

  • 首先，任意选取一个超平面 $w_0$、$b_0$，然后用梯度下降法不断极小化目标函数，极小化过程不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。

    梯度：

    ▽ w L (