神经网络与深度学习——笔记1

一、线性回归及线性分类

1.多元线性回归

n元线性回归问题，即对输入$\mathbf{x}=(x_1,x_2\cdots x_n{)}^T$进行仿射变换，通过模型的输出估计真实的输出，即
$$\begin{array}{rl}\hat{y}={\theta }^{\mathrm{T}}\mathbf{x}& =({\theta }_1,{\theta }_2\cdots {\theta }_n)(x_1,x_2\cdots x_n{)}^T+{\theta }_0\\ & =({\theta }_0,{\theta }_1\cdots {\theta }_n)(1,x_1\cdots x_n{)}^T\end{array}$$
在给定N组训练数据集 { x ( i ) , y ( i ) } \{ {\bold{x}^{(i)}},{y^{(i)}}\} {x(i),y(i)} 情况下，根据最小均方误差（MMSE）学习一组参数${\theta }^{\mathrm{T}}=({\theta }_0,{\theta }_1\cdots {\theta }_n{)}^T$使得
$$\min J(\theta )=\min \frac{1}{2}\sum _{i=1}^N{(y^{(i)}-{\hat{y}}^{(i)})}^2$$

2.线性多分类（softmax回归）

对于K类的线性分类问题，输入仍为特征$\mathbf{x}=(x_1,x_2\cdots x_n{)}^T$，但与线性回归问题不同，线性分类问题的输出不是回归的具体值而是属于某个类的概率,相当于有K个线性回归网络(每个网络的输出仍为${\theta }^{\mathrm{T}}\mathbf{x}$)，同时为了满足使输出符合概率的特性，需要对输出进行处理，通常采用
$${\hat{\mathbf{y}}}^{(i)}=\sum _{i=1}^K\frac{1}{\sum _{m=1}^K{e}^{{\mathbf{\theta }}_m^T{\mathbf{x}}^{(i)}}}\left[\begin{array}{l}{e}^{{\mathbf{\theta }}_1^T{\mathbf{x}}^{(i)}}\\ e^{{\mathbf{\theta }}_2^T{\mathbf{x}}^{(i)}}\\ ⋮\\ e^{{\mathbf{\theta }}_K^T{\mathbf{x}}^{(i)}}\end{array}\right]$$根据最大似然估计最大化似然估计$L(\mathbf{\theta })$ 相当于最小化负对数似然 $$-l(\mathbf{\theta })=-\log L(\mathbf{\theta })=-\sum _{i=1}^N\log (p({\mathbf{y}}^{(i)}|{\mathbf{x}}^{(i)},\mathbf{\theta }))$$在给定N组训练数据集 { x ( i ) , y ( i ) } \{ {\bold{x}^{(i)}},{\bold{y}^{(i)}}\} {x(i),y(i)} （其中${\mathbf{y}}^{(i)}$为独热码，如${\mathbf{y}}^{(i)}=(0,1,0\cdots 0{)}^T$）情况下找到$\mathbf{\theta }=[{\mathbf{\theta }}_1^T,{\mathbf{\theta }}_2^T\cdots {\mathbf{\theta }}_K^T{]}^T$，使得
$$\begin{array}{rl}\min J(\mathbf{\theta })=\min -l(\mathbf{\theta })& =min-\sum _{i=1}^N\log (p({\mathbf{y}}^{(i)}|{\mathbf{x}}^{(i)},\mathbf{\theta }))\\ & =\min \sum _{i=1}^{N}l({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)})\\ & =\min -\sum _{i=1}^N\sum _{j=1}^K{y}_j^{(i)}\log {\hat{y}}_j^{(i)}\end{array}$$其中$l({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)})=\sum _{j=1}^K{y}_j^{(i)}\log {\hat{y}}_j^{(i)}$为交叉熵损失。假定第一个样本属于第2类，即${\mathbf{y}}^{(i)}=(0,1,0\cdots 0{)}^T$，则$l({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)})=\log {\hat{y}}_2^1$,其中${\hat{y}}_2^1$为对应输出第二类的概率。

3.SGD算法更新参数

对于$J(\mathbf{\theta })$为非线性的情况，无法通过常规的求偏导方式求得最优解；而沿着梯度方向损失函数值上升最快，所以沿着梯度相反方向损失函数减少的最快，有了方向还需要控制下降的步幅大小，即设置合适的学习率$\alpha$，即
$${\mathbf{\theta }}_{k+1}={\mathbf{\theta }}_k+\Delta {\mathbf{\theta }}_k={\mathbf{\theta }}_k-\alpha \nabla {}_{\mathbf{\theta }}J$$有$J({\mathbf{\theta }}_{k+1})=J({\mathbf{\theta }}_k)-[\frac{\partial J(\mathbf{\theta })}{\partial \mathbf{\theta }}{]}^T\Delta {\mathbf{\theta }}_k=J({\mathbf{\theta }}_k)-\alpha [\frac{\partial J(\mathbf{\theta })}{\partial \mathbf{\theta }}{]}^T\frac{\partial J(\mathbf{\theta })}{\partial \mathbf{\theta }}\le J({\mathbf{\theta }}_k)$

二、感知机

1.单神经元模型与单层感知机

单神经元模型如下图，有n个输入，输出为$y=f(z)=f\left[\sum _{i=1}^n{w}_i{x}_i-\theta \right]=f({\mathbf{w}}^T\mathbf{x})$为阈值，只有当大于阈值时神经元才有相应输出，其中权值的调整量(Hebb规则) $$\Delta \mathbf{w}=\alpha \mathbf{x}y$$

$f(\cdot )$为激活函数，常用的激活函数有阶跃函数、对称性和非对称型Sigmoid函数等。非对称Sigmoid函数 $f(x)=\frac{1}{1+e^{-\beta x}}$，对称Sigmoid函数$f(x)=\frac{1-e^{-\beta x}}{1+e^{-\beta x}}$，下图为$\beta =2$时的各函数图像。

单层感知机用来解决线性分类问题，对于一个输入为二维特征的两类的线性分类问题,需要寻找一条最优的分类直线${\mathbf{w}}^T\mathbf{x}=0$（输入维数>2时为分类超平面），能够将数据准确分开。在给定样本 { x ( i ) , y ( i ) } \{ {\bold{x}^{(i)}},{y^{(i)}}\} {x(i),y(i)} 情况下寻找最优参数${\mathbf{w}}^{\ast }$,使得$$L(w^{\ast })=\min \sum _i{y}^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)})$$感知机输出为$y^{(i)}=sign({\mathbf{w}}^T{\mathbf{x}}^{(i)})$，即○所对的$y^{(i)}=1$，×所对的$y^{(i)}=-1$;当分类正确时有$y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)})>0$,分类错误时有$y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)})<0$.

初始时刻权值随机初始化，通过将训练数据${\mathbf{x}}^{(i)}$输入感知机利用判断错误的样本进行权值更新${\mathbf{w}}_{k+1}={\mathbf{w}}_k+\alpha {\mathbf{x}}^{(i)}{y}^{(i)}$，直到没有分类错误的样本点。可以看到单层感知机权值的更新规则与单神经元模型的Hebb规则一致。

2.多层感知机（MLP）

单层感知机仅能解决线性可分问题，对于线性不可分问题（如XOR问题），可在输入和输出层之间加入一层或者多层隐藏层构成多层感知机，实现对非线性函数的近似，下图所示为含一个隐藏层的的多层感知机结构。
XOR问题

$x_1$	$x_2$	$y$
0	0	0
0	1	1
1	0	1
1	1	0

根据多层感知机结构可得第一层输出$y_1^1=f(w_{11}^1{u}_1+w_{12}^1{u}_2-{\theta }_1^1)$，$y_2^1=f(w_{21}^1{u}_1+w_{22}^1{u}_2-{\theta }_2^1)$,第二层输出$y=f(w_1^2{y}_1^1+w_2^2{y}_2^1-\theta )$,激活函数$f(\cdot )$为阶跃函数。

三、多层前馈网络与反向传播（BP）算法

1.多层前馈网络

如下图所示，u、y是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层（前层至后层节点通过权联接）。

2.BP算法

BP算法由正向传播和反向传播构成，正向传播是按顺序（从输⼊层到输出层）计算和存储神经⽹络中每层的结果；反向传播是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小，具体实现见: SGD算法更新参数。BP算法流程图如下：

四、优化算法

1.动量法

如果把原始的 SGD 想象成一个纸团在重力作用向下滚动，由于质量小受到山壁弹力的干扰大，导致来回震荡；或者在鞍点处因为质量小速度很快减为 0，导致无法离开这块平地；动量方法相当于把纸团换成了铁球；不容易受到外力的干扰，轨迹更加稳定；同时因为在鞍点处因为惯性的作用，更有可能离开平地。

2.自适应梯度算法（AdaGrad）

具有较大偏导的参数相应有一个较大的学习率，而具有小偏导的参数则对应一个较小的学习率。每个参数的学习率会缩放各参数反比于其历史梯度平方值总和的平方根。

3.RMSProp

RMSProp使用指数衰减平均以丢弃遥远的历史，使其能够快速收敛；此外， RMSProp 还加入了超参数 𝜌 控制衰减速率。

4.Adam

Adam 在 RMSProp 方法的基础上更进一步： 除了加入历史梯度平方的指数衰减平均𝑟外，还保留了历史梯度的指数衰减平均𝑠，相当于动量。