本文主要参考了《Dive Into DL PyTorch》里面的内容。
1. 隐藏层
深度学习主要关注多层模型。多层感知机在单层神经网络的基础上引入了一到多个隐藏层(hidden layer)。隐藏层位于输入层和输出层之间。下图展示了一个多层感知机的神经网络图,它含有一个隐藏层,该层中有5个隐藏单元。
图中所展示的多层感知机中,输入和输出的个数分别为4和3,中间的隐藏层包含了5个隐藏单元(hidden unit)。由于输入层不涉及计算,图中的多层感知机的层数为2。由图可见,隐藏层中的神经元和输入层中各个输入完全连接,输出层中的神经元和隐藏层中的各个神经元也完全连接。因此,多层感知机中的隐藏层和输出层都是全连接层。
具体来说,给定一个小批量样本 X ∈ R n × d X \in \mathbb{R} ^ {n \times d} X∈Rn×d,其批量大小为 n n n,输入个数为 d d d。假设多层感知机只有一个隐藏层,其中隐藏单元个数为 h h h。记隐藏层的输出(也称为隐藏层变量或隐藏变量)为 H H H,有 H ∈ R n × h H\in\mathbb{R}^{n\times h} H∈Rn×h。因为隐藏层和输出层均是全连接层。可以设隐藏层的权重参数和偏差参数分别为 W h ∈ R d × h W_h\in\mathbb{R}^{d\times h} Wh∈Rd×h和 b h ∈ R 1 × h b_h\in\mathbb{R}^{1\times h} bh∈R1×h,输出层的权重和偏差参数分别为 W o ∈ R h × q W_o\in\mathbb{R}^{h\times q} Wo∈Rh×q和 b h ∈ R 1 × q b_h\in\mathbb{R}^{1\times q} bh∈R1×q。
我们先来看一种含单隐藏层的多层感知机的设计。其输出
O
∈
R
n
×
q
O\in\mathbb{R}^{n\times q}
O∈Rn×q的计算为
{
H
=
X
W
h
+
b
h
O
=
H
W
o
+
b
o
\begin{cases} H=XW_h + b_h\\ O=HW_o + b_o \end{cases}
{H=XWh+bhO=HWo+bo
也就是将隐藏层的输出直接作为输出层的输入。如果将以上两个式子联立起来,可以得到
O
=
(
X
W
h
+
b
h
)
W
o
+
b
o
=
X
W
h
W
o
+
b
h
W
o
+
b
o
.
O = (XW_h + b_h)W_o + b_o=XW_hW_o + b_hW_o +b_o.
O=(XWh+bh)Wo+bo=XWhWo+bhWo+bo.
从联立的式子可以看出,虽然神经网络引入了隐藏层,却依然等价于一个单层神经网络:其中输出层权重参数为
W
h
W
o
W_hW_o
WhWo,偏差参数为
b
h
W
o
+
b
o
b_hW_o + b_o
bhWo+bo。不难发现,即便再添加更多的隐藏层,以上设计依然只能与仅含输出层的单层神经网络等价。
2. 激活函数
上述问题的根源在于全连接层只是对数据做仿射变换(affine transformation),而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换,例如对隐藏变量使用按元素运算的非线性函数进行变换,然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数(activation function)。