机器学习公式推导【Day7】神经网络感知机

（本文为个人学习总结笔记）

5.1
$$w_i\leftarrow w_i+\Delta w_i$$

5.2
$$\Delta w_i=\eta (y-\hat{y})x_i$$

此公式是感知机学习算法中的参数更新公式，下面依次给出感知机模型、学习策略和学习算法的具体介绍。

1、感知机模型

已知感知机由两层神经元组成，故感知机模型的公式可表示为：

$$y=f\left(\sum _{i=1}^n{w}_i{x}_i-\theta \right)=f\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}-\theta \right)$$

其中，$\mathbf{x}\in {\mathbb{R}}^n$为样本的特征向量，是感知机模型的输入；$\mathbf{w},\theta$是感知机模型的参数，$\mathbf{w}\in {\mathbb{R}}^n$为权重，$\theta$为阈值。假定$f$为阶跃函数，那么感知机模型的公式可进一步表示为:
$$y=\mathrm{sgn}\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}-\theta \right)=\{\begin{array}{ll}1,& {\mathbf{w}}^{\mathrm{T}}\mathbf{x}-\theta \ge 0\\ 0,& {\mathbf{w}}^{\mathrm{T}}\mathbf{x}-\theta <0\end{array}$$
由于$n$维空间中的超平面方程为:
$$w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$$

所以此时感知机模型公式中的${\mathbf{w}}^{\mathrm{T}}\mathbf{x}-\theta$可以看作是$n$维空间中的一个超平面，通过它将$n$维空间划分为${\mathbf{w}}^{\mathrm{T}}\mathbf{x}-\theta \ge 0$和$w^{\mathrm{T}}x-\theta <0$两个子空间，落在前一个子空间的样本对应的模型输出值为1，落在后一个子空间的样本对应的模型输出值为0，以此来实现分类功能。

2、感知机学习策略

给定一个线性可分的数据集$T$（参见附录①），感知机的学习目标是求得能对数据集$T$中的正负样本完全正确划分的分离超平面：
$${\mathbf{w}}^{\mathrm{T}}\mathbf{x}-\theta =0$$

假设此时误分类样本集合为$M\subseteq T$对任意一个误分类样本$(\mathbf{x},y)\in M$来说，当${\mathbf{w}}^{\mathrm{T}}\mathbf{x}-\theta \ge 0wT$时，模型输出值为$\hat{y}=1$，样本真实标记为$y=0$；反之，当${\mathbf{w}}^{\mathrm{T}}\mathbf{x}-\theta <0$时，模型输出值为$\hat{y}=0$，样本真实标记为$y=1$。综合两种情形可知，以下公式恒成立
$$(\hat{y}-y)\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}-\theta \right)\ge 0$$
所以，给定数据集$T$，其损失函数可以定义为：
$$L(\mathbf{w},\theta )=\sum _{\mathbf{x}\in M}(\hat{y}-y)\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}-\theta \right)$$

显然，此损失函数是非负的。如果没有误分类点，损失函数值是0。而且，误分类点越少，误分类点离超平面越近，损失函数值就越小。因此，给定数据集$T$，损失函数$L(\mathbf{w},\theta )$是关于$\mathbf{w},\theta$的连续可导函数。

3、感知机学习算法

感知机模型的学习问题可以转化为求解损失函数的最优化问题，具体地，给定数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(\boldsymbol{x}_{2}, y_{2}\right), \ldots,\left(\boldsymbol{x}_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}
其中 x i ∈ R n , y i ∈ { 0 , 1 } \boldsymbol{x}_i \in \mathbb{R}^n,y_i \in \{0,1\} xi​∈Rn,yi​∈{0,1}，求参数$\mathbf{w},\theta$，使其为极小化损失函数的解：
$$\underset{\mathbf{w},\theta }{\min }L(\mathbf{w},\theta )=\underset{\mathbf{w},\theta }{\min }\sum _{{\mathbf{x}}_{\mathbf{i}}\in M}\left({\hat{\mathbf{y}}}_i-y_i\right)\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i-\theta \right)$$
其中$M\subseteq T$为误分类样本集合。若将阈值$\theta$看作一个固定输入为$-1$的“哑节点”，即:
$$-\theta =-1\cdot w_{n+1}=x_{n+1}\cdot w_{n+1}$$

那么${\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i-\theta$可化简为:
$$\begin{array}{rl}{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i-\theta & =\sum _{j=1}^n{w}_j{x}_j+x_{n+1}\cdot w_{n+1}\\ & =\sum _{j=1}^{n+1}{w}_j{x}_j\\ & ={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i\end{array}$$

其中${\mathbf{x}}_{\mathbf{i}}\in {\mathbb{R}}^{n+1},\mathbf{w}\in {\mathbb{R}}^{n+1}$ 。根据该式，可将要求解的极小化问题进一步简化为:
$$\underset{\mathbf{w}}{\min }L(\mathbf{w})=\underset{\mathbf{w}}{\min }\sum _{{\mathbf{x}}_{\mathbf{i}\in M}}\left({\hat{y}}_i-y_i\right){\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i$$

假设误分类样本集合$M$固定，那么可以求得损失函数$L(\mathbf{w})$的梯度为：

$${\nabla }_{\mathbf{w}}L(\mathbf{w})=\sum _{{\mathbf{x}}_{\mathbf{i}\in M}}\left({\hat{y}}_i-y_i\right){\mathbf{x}}_i$$

感知机的学习算法具体采用的是随机梯度下降法，也就是极小化过程中不是一次使$M$中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。所以权重$\mathbf{w}$的更新公式为:
$$\begin{array}{c}\mathbf{w}\leftarrow \mathbf{w}+\Delta \mathbf{w}\\ \Delta \mathbf{w}=-\eta \left({\hat{y}}_i-y_i\right){\mathbf{x}}_i=\eta \left(y_i-{\hat{y}}_i\right){\mathbf{x}}_i\end{array}$$

相应地，$\mathbf{w}$中的某个分量$w_i$的更新公式即为公式(5.2)。