感知机 perceptron
感知机是一种线性模型
是神经网络,支持向量机等的基础
1.感知机模型
f(x) = sign(wx + b)
w是权重向量weight,b是偏置向量bias
sign(x) = 1 (x>=0)
sign(x) = -1 (x < 0)
wx + b 对应特征空间中的一个超平面S
w 是超平面的法向量,b 是截距
2.学习策略
只能用于线性可分数据
损失函数 - 误分类点到超平面的距离之和
算距离时,选择几何距离,不能用函数距离
几何距离:|wx + b| / ||w||
函数距离:|wx + b|
若使用函数距离,模型在训练时,会等比例缩小 w b 来减小损失,不可取
对于误分类的数据
-yi * (w * xi + b) > 0
即 -yi * (w * xi + b) / ||w|| > 0
3.原始形式
用梯度下降法极小化目标函数
L(w, b) = - ∑ [yi * (wxi + b)]
对w求偏导 - ∑ yi * xi
对b求偏导 - ∑ yi