【计算机视觉与深度学习】全连接神经网络（一）

计算机视觉与深度学习系列博客传送门
【计算机视觉与深度学习】线性分类器（一）
【计算机视觉与深度学习】线性分类器（二）

从线性分类器到全连接神经网络

首先让我们回到线性分类器的定义：$$f_i(\mathbf{x},{\mathbf{w}}_i)={\mathbf{w}}_i^T\mathbf{x}+b_i,i=1,2,...,c$$其中$\mathbf{x}$代表输入的$d$维图像向量，$c$为类别个数，${\mathbf{w}}_i={\begin{array}{c}\left[\begin{array}{cccc}{w}_{i1}& w_{i2}& ...& w_{id}\end{array}\right]\end{array}}^T$为第$i$个类别的权值向量，$b_i$为偏置。如果$f_i(\mathbf{x})>f_j(\mathbf{x})$，则决策输入图像$\mathbf{x}$属于第$i$类。
全连接神经网络通过级联多个变换来实现输入到输出的映射。如两层全连接网络的定义为$$\mathbf{f}={\mathbf{W}}_2\max (0,{\mathbf{W}}_1\mathbf{x}+{\mathbf{b}}_1)+{\mathbf{b}}_2$$再如三层全连接网络定义为$$\mathbf{f}={\mathbf{W}}_3\max (0,{\mathbf{W}}_2\max (0,{\mathbf{W}}_1\mathbf{x}+{\mathbf{b}}_1)+{\mathbf{b}}_2)+{\mathbf{b}}_3$$上式中，$\max (0,\cdot )$是一个激活函数（即ReLU激活函数，修正线性单元），它对线性操作后的结果进行了一次非线性操作，这个非线性操作是不可以去掉的，否则将会退化为一个线性分类器。

全连接神经网络的权值

之前在学习线性分类器的时候曾经提到过，线性分类器中的$\mathbf{W}$可以看作模板，模板个数由类别个数决定。而在全连接神经网络中，以两层全连接网络为例，${\mathbf{W}}_1$也可以看作模板，模板个数是人为指定的，${\mathbf{W}}_2$融合多个模板的匹配结果来实现最终的类别打分。
以CIFAR-10数据集（每张图片样本的大小为32×32×3）为例，将线性分类器的模板矩阵resize并归化后以图片的形式展示，可以得到下图的结果：

其中，horse模板出现了两个马头，这是因为在训练集中，有的图片样本中马头朝向左，有的图片样本中马头朝向右。由于线性分类器的模板个数是由类别个数决定的，所以可以分配给horse类的模板数仅有1。而在全连接神经网络中，${\mathbf{W}}_1$模板个数是人为指定的，我们可以指定一个更大的模板个数，这样每一个类别就可以分配到更多的模板数，从而达到更好的分类效果。

全连接神经网络与线性不可分

线性可分指的是至少存在一个线性分界面能把两类样本没有错误地分开。线性分类器只能解决线性可分的问题，但在实际问题中，样本数据并不都是线性可分的。在这种情况下，我们只能依赖于一些非线性操作来实现线性不可分样本数据的学习，如全连接神经网络中的激活函数就是一种非线性操作。

如上图所示，全连接神经网络由一个输入层 (input layer)、若干个隐藏层 (hidden layer) 以及一个输出层 (output layer) 组成。输入层的神经元数量由训练样本所决定，以CIFAR-10数据集为例，输入层的维度就是3072维（即32×32×3）。隐藏层的维度就是我们人为指定的“模板”的个数。输出层的个数由类别数来决定，以CIFAR-10数据集为例，输出层的个数就是10。除输入层外，其余所有层的所有神经元都要与前一层的所有神经元一一连接，这也是全连接神经网络名字的由来。连接两个神经元的边叫做权值，两层之间的所有权值组成权值矩阵$\mathbf{W}$。
N层全连接神经网络指的是除输入层外其余所有层的数量为N的全连接神经网络，如一个全连接网络有一个输入层、两个隐藏层和一个输出层，则称之为3层全连接神经网络（或者2隐层全连接神经网络）。

激活函数

以三层全连接网络$$\mathbf{f}={\mathbf{W}}_3\max (0,{\mathbf{W}}_2\max (0,{\mathbf{W}}_1\mathbf{x}+{\mathbf{b}}_1)+{\mathbf{b}}_2)+{\mathbf{b}}_3$$为例，若去掉激活函数$\max (0,\cdot )$，$\mathbf{f}$的表达式变为$$\mathbf{f}={\mathbf{W}}_3({\mathbf{W}}_2({\mathbf{W}}_1\mathbf{x}+{\mathbf{b}}_1)+{\mathbf{b}}_2)+{\mathbf{b}}_3$$整理得$$\mathbf{f}={\mathbf{W}}_3{\mathbf{W}}_2{\mathbf{W}}_1\mathbf{x}+({\mathbf{W}}_3{\mathbf{W}}_2{\mathbf{b}}_1+{\mathbf{W}}_3{\mathbf{b}}_2+{\mathbf{b}}_3)$$令${\mathbf{W}}_3{\mathbf{W}}_2{\mathbf{W}}_1={\mathbf{W}}^{\prime },{\mathbf{W}}_3{\mathbf{W}}_2{\mathbf{b}}_1+{\mathbf{W}}_3{\mathbf{b}}_2+{\mathbf{b}}_3={\mathbf{b}}^{\prime }$，有$$\mathbf{f}={\mathbf{W}}^{\prime }\mathbf{x}+{\mathbf{b}}^{\prime }$$这也就解释了前面所提到的，若去掉非线性操作（激活函数），全连接神经网络将会退化为一个线性分类器。
$\max (0,x)$是一种很常用的激活函数，叫做ReLU函数（修正线性单元，Rectified Linear Unit），函数图像如下所示：

除此之外，还有一些常用的激活函数，如Sigmoid函数$$\frac{1}{1+e^{-x}}$$

tanh函数$$\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

Leaky ReLU函数$$\max (\alpha x,x)$$
等。Sigmoid函数可以将输出结果转化到$(0,1)$区间内，输出值大于0且不中心对称。tanh函数可以将输出结果转化到$(-1,1)$区间内，输出值是中心对称的。tanh函数的输出值有正有负，这是它与Sigmoid函数的最大区别。ReLU函数将小于0的部分直接置为0，大于0的部分保持原输出结果。然而，ReLU函数在训练过程中存在神经元“死亡”问题，Leaky ReLU函数是在ReLU函数的基础上加了一个“泄露”，在小于0的部分并不直接置0，而是给定一个很小的斜率，从而解决了这一问题。

网络结构设计

在设计神经网络的时候，我们需要考虑如下两个问题：

1. 需要设计多少个隐藏层？
2. 每个隐藏层需要设计多少个神经元？

事实上，这两个问题并没有统一的答案。
在实际问题中，分类任务越难，我们设计的神经网络结构就应该越深、越宽。但是，对训练集分类精度最高的模型，在真实场景下识别性能未必是最好的。从宽度设计的角度来看，隐藏层神经元的个数越多，分界面就可以越复杂，在这个集合上的分类能力就越强。但是分界面过于复杂，对数据集的划分过于出色对分类问题不一定是好事，可能会造成过拟合。

Softmax与交叉熵损失

Softmax操作是将全连接神经网络的输出取$e$的幂次方，再进行归一化操作，从而得到$\mathbf{p}$。不难发现，${\sum }_{i=1}^c{p}_i=1$。进行Softmax操作后，神经网络的输出带有了概率性质，$p_i(i=1,2,...,c)$则代表样本属于第$i$类的概率。

假设神经网络输出的预测分布$q(x)$为$$\begin{array}{c}\left[\begin{array}{c}0.21\\ 0.01\\ 0.78\end{array}\right]\end{array}$$真实分布$p(x)$为$$\begin{array}{c}\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]\end{array}$$那么，如何度量现在的分类器输出与真实值之间的距离？
首先介绍几个定义。

• 熵：用来度量信息量的大小。熵越大，信息量越大；熵越小，信息量越小。$$H(p)=-\sum _{x}p(x)\log p(x)$$
• 交叉熵。$$H(p,q)=-\sum _{x}p(x)\log q(x)$$
• 相对熵：也叫KL散度 (KL divergence)，用来度量两个分布之间的不相似性 (dissimilarity)。$$KL(p||q)=-\sum _{x}p(x)\log \frac{q(x)}{p(x)}$$

根据上述定义，不难推导出$$H(p,q)=H(p)+KL(p||q)$$因此，交叉熵可以用来度量两个分布之间的距离。
对于上面给出的数据，交叉熵$$H(p,q)=-\sum _{i=1}^{c}p(x_i)\log q(x_i)=\log 0.21$$上面的$p(x)$只有一项为$1$，其余项均为$0$，这种形式称为one-hot。当真实分布为one-hot形式时，交叉熵损失函数可以简化为$$L_i=-\log q_j$$其中$j$为真实类别。
下面我们将交叉熵损失和多类支持向量机损失进行对比。假设我们有三个分类器，这三个分类器对于某个样本的类别分数分别为$${\mathbf{f}}_1=\begin{array}{c}\left[\begin{array}{ccc}10& -2& 3\end{array}\right]\end{array}$$ $${\mathbf{f}}_2=\begin{array}{c}\left[\begin{array}{ccc}10& 9& 9\end{array}\right]\end{array}$$ $${\mathbf{f}}_3=\begin{array}{c}\left[\begin{array}{ccc}10& -100& -100\end{array}\right]\end{array}$$根据多类支持向量机损失定义$$L_i=\sum _{j\ne y_i}\max (0,s_{ij}-s_{y_i}+1)$$易得$$L_{1多类支持向量机}=L_{2多类支持向量机}=L_{3多类支持向量机}=0$$根据交叉熵损失定义$$L_i=-\log (\frac{e^{s_{y_i}}}{{\sum }_j{e}^{s_j}})$$易得$$L_{1交叉熵}=0.0004$$ $$L_{2交叉熵}=0.2395$$ $$L_{3交叉熵}=1.5\times 10^{-48}$$这样，我们就可以根据交叉熵损失决策出最好的模型是分类器3。

计算图与反向传播

任意复杂的函数都可以用计算图的形式表示。在整个计算图中，每个门单元都会得到一些输入，然后进行下面两个计算：

• 这个门的输出；
• 其输出关于输入的局部梯度。

利用链式法则，门单元应该将回传的梯度乘以对其输入的局部梯度，从而得到整个网络的输出对该门单元每个输入值的梯度。
以函数$$f(w,x)=\frac{1}{1+e^{-(w_0{x}_0+w_1{x}_1+w_2)}}$$为例，其计算图如下：

给定一组输入，根据计算图，我们可以很轻松地计算出函数的输出：

以下图红框处为例，计算该处的梯度。

根据链式法则，该处的梯度等于其上游梯度与局部梯度之积。易知上游梯度为$1$。根据函数的求导法则$$f(x)=\frac{1}{x}$$ $$\frac{\mathrm{d}f}{\mathrm{d}x}=-\frac{1}{x^2}$$可以计算出局部梯度为$-\frac{1}{1.14^2}$。则该处的梯度等于$$1\times (-\frac{1}{1.14^2})=-0.77$$再继续向前传播同理，此处不再赘述。