感知机

感知机的学习目标在于求出分离数据的线性超平面，它是一个线性分类器，是神经网络和SVM的基础。 http://fangpin.github.io

感知机的定义

感知机是一个二分类模型，假设对于输入向量X，输出Y满足 (Y\in { 1,-1 }).

则对输入作如下预测

y=f(x)=sign(w*x+b)

其中 (sign(x)) 为符号函数，(x \geq 0) 时返回1，否则返回-1.
w叫权值向量，b为偏置。

几何含义

使用线性超平面$w\*x + b = 0$来划分数据集，$w$为平面法向量，$b$为截距。

学习策略

若用错误分类数目作为损失函数，则损失函数不可导。

故用错误分类点到超平面距离和作为损失函数。

假设错误分类集合为 M.

(-\frac1{|w|^2} \sum_{x_i \in M}y_i(w*x_i+b))

可利用随机梯度下降法进行学习。