第二章 感知机

感知机

 

 

 

是根据输入实例的特征向量x 对其进行二类分类的线性分类模型：

 

f(x)=sign(w,x+b)

 

感知机对应于输入空间的分离超平面wx+b=0

 

学习策略是极小化损失函数

 

 

损失函数对应于误分类点到分离超平面的总距离

 

 

 

 

学习算法是基于随机梯度下降法的对损失函数的最优化算法

 

有原始形式和对偶形式，算法简单易于实现

 

原始形式中，首先任意选取一个超平面，然后用梯度下降法不断极小化目标函数．在这个过程中一次随机选取—个误分类点使其梯度下降

 

 

 

对偶形式

 

 

 

当训练数据集线性可分时，感知机学习算法是收敛的

 

 

当训练数据集线性可分时，感知机学习算法存在无穷多个解，其解由于不同

的初值或不同的迭代顺序而可能有所不同

 

感知机因为是线性模型，所以不能表示复杂的函数。

 

感知机无法实现异或