感知机算法

利用带有0-1门限的神经元进行学习。

形式化如下：

感知机输入$X=\{x_1, x_2, ..., x_n\}$
感知机权值$W=\{w_1, w_2, ..., w_n\}$
偏置$b=1

令$y(X)=WX^T+b$
感知机输出

$$z(X)=\begin{cases} 1,\ \ if\ y(X)\geq 0\\ 0,\ \ if\ y(X)< 0 \end{cases}$$

学习过程：
初始化感知机权重$W$，有一个线性可分的训练集$T=\{X_1, X_2, ..., X_m\}$及标签集$Y=\{y_1, y_2, ..., y_m\}$，每次喂入一个样本$X_i$，若$y_i=z(X_i)$，则不修正权重；若$y_i=1且z(X_i)=0$，则更新$W$:=$W+X_i$；若$y_i=0且z(X_i)=1$，则更新$W$:=$W-X_i$。直到迭代完$T$。

From geometry perspective，在权重空间（Weight space）内，把所有的权重$W$和训练集$T$中的样本$X_i$视作一些从原点出发的向量(或者点)，则对于任意给定的向量$X_i$，存在一个过原点的超平面把空间分成两部分，其中一个子空间内的$W$都能把$X_i$预测为0，另一个子空间内的$W$都能把$X_i$预测为1。根据的$y_i$可以分别命名为当前样本的“好的权重向量子空间”和“坏的权重向量子空间”。

算法的所做的就是，若当前权重$W$位于当前样本的“好的权重向量子空间”时不需要进行更新，否则旋转$W$使得更接近分界超平面。于是的到了一个凸优化问题。

(图来自Hinton)