感知机算法学习笔记（带例题及代码）

感知机

感知机是二分类的线性分类模型，其输入为实例的特征向量，输出实例为类别，取+1和-1二值，属于判别模型。感知机学习旨在求出能够将训练数据集进行正确的分类的分离超平面的。为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机具有简单易实现的优点，分为原始和对偶形式。

感知机模型

定义：称函数$y=f(x)=sign(\omega \cdot x_i+b)$为感知机，其中$\omega \in {\mathbb{R}}^n,x\in X\subseteq {\mathbb{R}}^n,\omega ̸=0,B\in R,sign$为符号函数，即对任意$z\in \mathbb{R}$,有$$sign=\{\begin{array}{ccc}+1& & z>0\\ 0& & z=0\\ -1& & z<0\end{array}$$对于任意输入$x\in X\subseteq {\mathbb{R}}^n$,感知机的输出是+1或-1中的一个。在几何意义上，$\omega \cdot x_i+b=0$是${\mathbb{R}}^n$的一个分离超平面S,${\mathbb{R}}^n$被划分到分离超平面的两侧，输入感知机后得到+1或-1。

感知机学习策略

对于训练数据集$T=\left\{\begin{array}{cccc}(x_1,y_1)& (x_2,y_2)& ...& (x_N,y_N)\end{array}\right\}$,其中$x\in X\subseteq {\mathbb{R}}^n$，$y_i=\left\{\begin{array}{c}+1,-1\end{array}\right\}$中的实例点$(x_i,y_i)$,${\mathbb{R}}^n$中的某一超平面$S:\omega \cdot x_i+b=0$可能会被正确分类，也可能会被错误分类。当被错误分类时，有$-y_i(\omega \cdot x_i+b)>0$(判断和实际的符号不一致，相乘结果小于0，加上负号后大于0)
设$M\subseteq T$时$S$关于所有误分类点的集合，且令

$$L(\omega ,b)=-\sum _{(x_i,y_i)\in M}{y}_i(\omega \cdot x_i+b)$$
$L(\omega ,b)$常被称为感知机的损失函数，其值显然是非负的。如果没有误分类点，损失函数等于0，误分类点越少，损失函数值越小。所以感知机的学习策略就是选取参数$:\omega$和$b$使$L(\omega ,b)$达到最小值。

感知机学习算法

对于给定的训练集$T$,感知机的学习损失函数$L(\omega ,b)$是$:\omega$和$b$的连续可导函数。确定最优的$:\omega$和$b$的问题转化为求解损失函数$L(\omega ,b)$的最优问题，而最优化问题采用随机梯度下降法。

1.感知机学习算法的原始形式
给定一个数据集：$T=\left\{\begin{array}{cccc}(x_1,y_1)& (x_2,y_2)& ...& (x_N,y_N)\end{array}\right\}$,$x\in X\subseteq {\mathbb{R}}^n$，$y_i=\left\{\begin{array}{c}+1,-1\end{array}\right\}$,求参数$\omega$和$b$，使其为一下损失函数极小化问题的解 min ⁡ ω , b L ( ω , b ) = − ∑ ( x i , y i ) ∈ M y i ( ω ⋅ x i