深入理解多层感知机

本文主要参考了《Dive Into DL PyTorch》里面的内容。

1. 隐藏层

深度学习主要关注多层模型。多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。
图中所展示的多层感知机中，输入和输出的个数分别为4和3，中间的隐藏层包含了5个隐藏单元（hidden unit）。由于输入层不涉及计算，图中的多层感知机的层数为2。由图可见，隐藏层中的神经元和输入层中各个输入完全连接，输出层中的神经元和隐藏层中的各个神经元也完全连接。因此，多层感知机中的隐藏层和输出层都是全连接层。

具体来说，给定一个小批量样本 $X\in {\mathbb{R}}^{n\times d}$，其批量大小为 $n$，输入个数为 $d$。假设多层感知机只有一个隐藏层，其中隐藏单元个数为 $h$。记隐藏层的输出（也称为隐藏层变量或隐藏变量）为 $H$，有$H\in {\mathbb{R}}^{n\times h}$。因为隐藏层和输出层均是全连接层。可以设隐藏层的权重参数和偏差参数分别为$W_h\in {\mathbb{R}}^{d\times h}$和 $b_h\in {\mathbb{R}}^{1\times h}$，输出层的权重和偏差参数分别为$W_o\in {\mathbb{R}}^{h\times q}$和 $b_h\in {\mathbb{R}}^{1\times q}$。

我们先来看一种含单隐藏层的多层感知机的设计。其输出$O\in {\mathbb{R}}^{n\times q}$的计算为
$$\{\begin{array}{l}H=X{W}_h+b_h\\ O=H{W}_o+b_o\end{array}$$
也就是将隐藏层的输出直接作为输出层的输入。如果将以上两个式子联立起来，可以得到
$$O=(X{W}_h+b_h)W_o+b_o=X{W}_h{W}_o+b_h{W}_o+b_o.$$
从联立的式子可以看出，虽然神经网络引入了隐藏层，却依然等价于一个单层神经网络：其中输出层权重参数为$W_h{W}_o$，偏差参数为$b_h{W}_o+b_o$。不难发现，即便再添加更多的隐藏层，以上设计依然只能与仅含输出层的单层神经网络等价。

2. 激活函数

上述问题的根源在于全连接层只是对数据做仿射变换（affine transformation），而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换，例如对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数（activation function）。