感知机PLA（perceptron）

感觉自己记性越来越差。寒假前看的东西，回来忘得一干二净。从此认真做笔记，不能再重蹈覆辙。——题记
（第一次使用markdown，不太习惯，后面的公式没有继续打。现在去学习一下好用一些的公式编辑方法）

简介

定义：感知机是二类分类的线性模型。

输入：实例的特征向量

输出：实例的类别（±1）

感知机模型

感知机——由输入空间到输出空间的函数：

f(x)=sign(wx+b)

Tips:
$w \in R^n$：权值，weight
$b \in R$：偏值，bias
输入空间（特征空间）：$X \in R^n$
输出空间：$y={+1,-1}$
输入：$x \in X$`表示实例的特征向量，对应于输入空间的点
输出：$y \in Y$，表示实例的类别

感知机学习策略

1. 感知机学习目标：求得一个能将训练集正实例点和负实例点完全正确分开的分离超平面 = 确定模型参数w,b。
2. 感知机学习策略：定义（经验）损失函数并将损失函数极小化。
3. 损失函数的选择：所有误分类点到超平面S的总距离：

一般不考虑w,即损失函数为：

M:误分类点的个数
4. 误分类点越少，损失函数越小。

将感知机学习问题转化为求解损失函数最优化问题

感知机学习算法

感知机学习算法的原始形式

算法的收敛性