统计学习方法第二章 感知器

感知器属于二类分类的线性分类模型。

输入：实例的特征向量

输出：实例的类别

原理在于将实例划分为正负两类分类超平面。

属于判别模型。

通过引入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，从而求出线性化分的分类超平面。

是神经网络和支持向量机的算法基础。

2.1 模型

定义：假设输入空间（特征空间）是X∈R，输出空间是Y∈{+1，-1}。

输入表示实例的特征向量。

输出表示实例的类别。

由输入到输出空间的如下函数：

f(x)=sign(w*x+b) 成为感知机。

w和b是感知机模型参数，w是权值，b是偏值。

通过求得w,b，得到感知机的模型。

2.2 策略

2.2.1 线性可分性

2.2.2感知机学习策略

损失函数：L(w,b)=-(这个函数不会用)。

2.3 算法

随机梯度下降法，求解损失函数的最优化问题。