感知机（原始形式 +对偶形式）

感知机 perceptron

 
 
感知机是一种线性模型

是神经网络，支持向量机等的基础

 
1.感知机模型

 f(x) = sign(wx + b)

 w是权重向量weight，b是偏置向量bias

 sign(x) = 1 (x>=0)
 sign(x) = -1 (x < 0)

 wx + b 对应特征空间中的一个超平面S
 w 是超平面的法向量，b 是截距

 
2.学习策略

 只能用于线性可分数据

 损失函数 - 误分类点到超平面的距离之和

 算距离时，选择几何距离，不能用函数距离
  几何距离：|wx + b|  /  ||w||
  函数距离：|wx + b|
  若使用函数距离，模型在训练时，会等比例缩小 w b 来减小损失，不可取

 对于误分类的数据
  -yi * (w * xi + b) > 0
  即 -yi * (w * xi + b) / ||w|| > 0

 
3.原始形式

 用梯度下降法极小化目标函数

 L(w, b) = - ∑ [yi * (wxi + b)]
 对w求偏导 - ∑ yi * xi
 对b求偏导 - ∑ yi

<