感知器公式推导

感知器推导总结

我们知道当 $x\in \mathbb{R}$，若规定 $y$ 的取值只能为 { 1 , − 1 } \{1, -1\} {1,−1}，那么我们的决策边界函数为：$$f(x)=sign({\omega }^{T}x+b)$$
其中上式的 $sign$ 函数用于判断选择最后 $y$ 的取值。
$$sign(a)=\{\begin{array}{r}1,a⩾0\\ -1,a⩽0\end{array}$$

条件推理

证明：$\vec{\omega }$是超平面的法向量

证：

我们知道对一个超平面，划分决策边界为 ${\omega }^{T}x+b=0$，其中 $\omega$ 向量为超平面的权重向量（$weight$ $vector$），而 $b$ 则被称为偏置（$bias$）。如上图我们在决策边界上取两个点，分别是 $x_1,x_2$。将其分别带入到决策边界上得到两个方程。

由$\{\begin{array}{l}{\omega }^T{x}_1+b=0\\ {\omega }^T{x}_2+b=0\end{array}$ ，将两式相减可推出：${\omega }^T(x_1-x_2)=0$

我们仔细观察得出的式子，实际上就是两个向量的数量积为0，即：$\overrightarrow{\omega }\cdot \overrightarrow{(x-y)}=0$，这说明 $\overrightarrow{\omega }\perp \overrightarrow{(x_1-x_2)}$，即证明了 $\overrightarrow{\omega }$ 是超平面的法向量。

从点到超平面的距离 $d$ 如何计算？

首先在计算 $d$ 之前先补充一个知识点：

如图，假设向量 $\overrightarrow{b}=\overrightarrow{x-x_1}$，直线到 $x$ 点的向量为 $\overrightarrow{a}$。此时对于 $\overrightarrow{a}\cdot \overrightarrow{b}$ 随着 $\overrightarrow{a}$ 逐渐单位化，向量 $\overrightarrow{b}$ 会逐渐靠近 $\overrightarrow{a}$ 这侧（即单位化这侧的投影）。所以 $x$ 到直线的距离为： $$d=\frac{|\overrightarrow{b}\cdot \overrightarrow{e}|}{\Vert \omega {\Vert }_2}$$

这个结论非常的重要，以至于我们后面的证明因此而变得清晰，接下来计算点到超平面的距离。

$\{\begin{array}{l}d=\frac{|\overrightarrow{(x-x_1)}\cdot \overrightarrow{\omega }|}{\Vert \omega {\Vert }_2}\\ {\omega }^T{x}_1+b=0\end{array}$，由此推出：$\{\begin{array}{l}d=\frac{|{\omega }^{T}x-{\omega }^T{x}_1|}{\Vert \omega {\Vert }_2}\\ b=-{\omega }^T{x}_1\end{array}$

所以结论得到，平面一点到决策边界的距离（或者说点到超平面的距离）为：$$d=\frac{|{\omega }^{T}x+b|}{\Vert \omega {\Vert }_2}$$

$Loss$ $function$

感知器的损失函数最初设想如下：

$$L(\omega ,b)=\sum _{i=1}^{N}I\left[y_i({\omega }^T{x}_i+b)\right]$$

其中中括号里的部分，代表着错误的分类，比如分类错误：
$$f(x_i)=sign({\omega }^T{x}_i+b)=+1,y_i=-1\Rightarrow y_i({\omega }^T{x}_i+b)<0$$$$f(x_i)=sign({\omega }^T{x}_i+b)=-1,y_i=+1\Rightarrow y_i({\omega }^T{x}_i+b)<0$$

上式的 $I$ 函数功能：$\{\begin{array}{l}若y_i({\omega }^T{x}_i+b)>0，I=1\\ 若y_i({\omega }^T{x}_i+b)<0，I=0\end{array}$，那么就很好解释损失函数了，主要是用于计算当预测错误时，点到决策边界的代价值。通常，为了使得损失达到最小，我们需要寻找在定义内的最小点，就会涉及到求导。对于上式 $Loss$ $function$，$I$ 不可导，因此我们互哪一种思路，将 $Loss$ $function$ 转化为下式：

$$L(\omega ,b)=\sum _{x_i\in M}\frac{|{\omega }^T{x}_i+b|}{\Vert \omega {\Vert }_2}$$

其中 $M$ 是所有误分类点的集合，$Loss$ $function$ 代表的就是所有分类错误的点到直线的距离之和。我们只需要将这个距离降到最小，即可划分出一条直线到各个点的距离之和最小，因此我们对上式求导，这个时候问题又出现了，由于分子中有绝对值，这不方便我们求导，我们对该式的分子去绝对值操作后即为：

$$L(\omega ,b)=\sum _{x_i\in M}\frac{-y_i({\omega }^T{x}_i+b)}{\Vert \omega {\Vert }_2}$$

学习策略

通过梯度下降算法，找到局部最优解。我们将上式 $L(\omega ,b)=\sum _{x_i\in M}=\frac{-y_i({\omega }^T{x}_i+b)}{\Vert \omega {\Vert }_2}$ 的常数 $\frac{1}{\Vert \omega {\Vert }_2}$ 直接去掉，对找到局部最优解无任何影响，得到：

$$L(\omega ,b)=\sum _{x_i\in M}-y_i({\omega }^T{x}_i+b)$$

我们分别对 $L(\omega ,b)$ 关于权重 $\omega$ 和偏置 $b$ 求梯度，分别确定这两个参数所对应超平面的梯度下降，并进行迭代更新，直至找到局部最优解为止。

$\{\begin{array}{l}{\nabla }_{\omega }L(\omega ,b)=-\sum _{x_i\in M}{y}_i{x}_i\\ {\nabla }_{b}L(\omega ,b)=-\sum _{x_i\in M}{y}_i\end{array}$

通过 $\{\begin{array}{l}\omega \Leftarrow \omega -{\nabla }_{\omega }L(\omega ,b)\cdot \alpha \\ b\Leftarrow b-{\nabla }_{b}L(\omega ,b)\cdot \alpha \end{array}$ 分别对误分类点的 $Loss$ $function$ 中的 $\omega$ 和 $b$ 更新，即如下迭代方式：

$$\omega \Leftarrow \omega +\alpha \cdot \sum _{x_i\in M}{y}_i{x}_i$$$$b\Leftarrow b+\alpha \cdot \sum _{x_i\in M}{y}_i$$

以上即为感知器相关公式推导。