文章目录
感知机(Perceptron)
二分类模型、线性分类模型、判别模型
-
输入:为实例的特征向量
-
输出:实例的类别,取+1和-1
1. 感知机的原始形式
-
模型:寻找能够将训练数据进行线性划分的分离超平面
- 感知机模型: f ( x ) = s i g n ( w ∗ x + b ) f(x) = sign(w*x + b) f(x)=sign(w∗x+b)
(w权值、b偏置为感知机模型参数,w*x表示内积,sign为符号函数)
几何解释:w是超平面的法向量,b为超平面的截距
- 感知机模型: f ( x ) = s i g n ( w ∗ x + b ) f(x) = sign(w*x + b) f(x)=sign(w∗x+b)
-
策略: 建立误分类的损失函数,误分类点到超平面的总距离,损失函数是连续可导函数
-
损失函数: m i n w , b L ( w , b ) = − Σ y i ( w ∗ x i + b ) \underset{w,b}{min}L(w, b) = -\Sigma{y_{i}(w*x_{i} + b)} w,bminL(w,b)=−Σyi(w∗xi+b)
-
算法: 利用随机梯度下降法 Stochastic Gradient Descent,对损失函数进行极小化求解,求得感知机模型
-
首先,任意选取一个超平面 w 0 w_{0} w0、 b 0 b_{0} b0,然后用梯度下降法不断极小化目标函数,极小化过程不是一次使M中所有误分类点的梯度下降,而是一次随机选取一个误分类点使其梯度下降。
梯度:
▽
-