感知器算法

实验目的

初步入门机器学习中的监督式学习——感知机算法

实验原理

感知机是一种监督式学习。
感知机找到的分界线总是直线，所以它是线性分类模型的一种。当然也有非线性分类模型：

特征向量(x_1,x_2,x_3)是三维向量，通过感知机找到的分界就是三维空间中的平面，依然是线性分类模型：

用感知机找到的分界，始终是特征向量所在空间的超平面，依然是线性分类模型。
感知机只能将数据分为两类，并且分界线是直线，所以又称它为二分类线性模型，区别于多分类模型。

分对：$y_i\cdot d({\mathbf{x}}_{\mathbf{i}})>0$
分错：$y_i\cdot d({\mathbf{x}}_{\mathbf{i}})\le 0$

实验过程

感知机的暴力实现：

（1）令权重向量w和b都为0：$\mathbf{w}=0$,$b$=0
所以初始函数$d(\mathbf{x})=\mathbf{w}\cdot \mathbf{x}+b=0\cdot \mathbf{x}+0$

（2）顺序遍历数据集，从中得到 $({\mathbf{x}}_{\mathbf{i}},y_i)$。

（3）如果分错了，即$y_{i}d({\mathbf{x}}_{\mathbf{i}})\le 0$则进行更正（因为刚开始b=0，不更正b的话，超平面的截距就一直是0，导致的后果是有可能不能将数据分开。下一课会严格证明，要像下面一样进行更新，才能达到分类的目的）：
$\mathbf{w}\leftarrow \mathbf{w}+y_i{\mathbf{x}}_{\mathbf{i}},b\leftarrow b+y_{}$