感知机的简单数学推导

介绍

感知机是简单的线性二分类机器，是支持向量机和神经网络的基础，其输入空间是实例的特征向量，输出空间为 { − 1 , + 1 } \lbrace-1,+1\rbrace {−1,+1}，作为监督学习的分类工具，它的学习目标是通过数据找到一个超平面可以把数据分成两类，超平面的形式为：$w^{\ast }x+b^{\ast }=0$，分类函数为：$f(x)=sign(w^{\ast }x+b^{\ast })$，
$$sign(x)=\{\begin{array}{ll}1,& \text{x≥0}\\ —1,& \text{x<0 }\end{array}$$

数学推导

假设有数据集 T = { ( x 1 , y i ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } T=\lbrace(x_1,y_i),(x_2,y_2),...,(x_n,y_n)\rbrace T={(x1​,yi​),(x2​,y2​),...,(xn​,yn​)}，其中$x_i$代表第$i$个实例的特征向量，$y_i$代表类别，一般有 y i ∈ { − 1 , + 1 } y_i\in\lbrace-1,+1\rbrace yi​∈{−1,+1}。假设点$(x_j,y_j)$被错误分类，比如$y_j=1$时，如果$w{x}_j+b<0$就出现分类错误，总上分类错误的点满足不等式：
$$-y_j(w{x}_j+b)>0$$
同时该点到超平面的距离为：
$$-\frac{1}{||w||}{y}_j(w{x}_j+b)$$
设分类错误的集合为M，错误结合中所有点到超平面的距离之和为：
$$L=-\frac{1}{||w||}\sum _{x_j\in M}{y}_j(w{x}_j+b)$$
定义函数L为损失函数，而且$||w||$是一个对所有分类错误点都一样,在损失函数中不再讨论。求损失函数最小化就代表分类错误点越少，学习效果越好，求最优化的过程中采用梯度下降法。首先任选一个超平面$（w_0,b_0）$，然后采用梯度下降法不断极小化损失函数，在极小化过程中是一次随机任选一个误分类点进行优化。
$$\frac{dL}{dw}=-\sum _{x_j\in M}{y}_j{x}_j$$
$$\frac{dL}{db}=-\sum _{x_j\in M}{y}_j$$
随机选取一个误分类点$(x_j,y_j)$对$(w,b)$进行优化，$\eta$代表学习率。
$$w⟵w+x_j{y}_j$$
$$b⟵b+y_j$$
通过迭代使得损失函数不断减小，直到没有误分类点。