感知机算法及实现

感知机算法

定义1：假设输入空间是$\chi \subseteq R^n$,输出空间为$\gamma$={+1,-1}.输入x$\in \chi$表示实例的特征向量，对应于输入空间的点；输出$y\in \gamma$表示实例的类别。由输入空间到输出空间的如下函数$$f(x)=sign(\mathbf{w}\mathbf{x}+b)$$称为感知机。其中$\mathbf{w}\mathbf{x}$是向量乘积形式。我们只需要求得两个参数$\mathbf{w}$和b,就可以获得感知机模型。
感知机有如下几何解释:线性方程$\mathbf{w}\mathbf{x}+b=0$对应于特征空间的一个超平面S，其中$\mathbf{w}$是超平面的法向量，b是超平面的截距。位于两部分的点分别被分为正负两类，因此，超平面S称为分离超平面。

根据经验，需要定义损失函数并令损失函数最小化。对于感知机模型，损失函数选择误分类点到超平面的总距离。假设