给定一个只含有一层隐藏层的感知机模型,给定一个小批量样本 X ∈ R n × d X\in\mathbb{R}^{n\times d} X∈Rn×d,其批量大小为n,输入个数为d。感知机隐藏单元个数为h。记隐藏层的输出(也称为隐藏层变量或隐藏变量)为H,有 H ∈ R n × h H\in\mathbb{R}^{n\times h} H∈Rn×h。因为隐藏层和输出层均是全连接层,可以设隐藏层的权重参数和偏差参数分别为 W h ∈ R d × h W_h\in\mathbb{R}^{d\times h} Wh∈Rd×h和 b h ∈ R 1 × h b_h\in\mathbb{R}^{1\times h} bh∈R1×h,输出层的权重和偏差参数分别为 W o ∈ R h × q W_o\in\mathbb{R}^{h\times q} Wo∈Rh×q和 b o ∈ R 1 × q b_o\in\mathbb{R}^{1\times q} bo∈R1×q。
先来看一种含单隐藏层的多层感知机的设计。其输出 O ∈ R n × q O\in \mathbb{R}^{n\times q} O∈Rn×q的计算为: H = X W h + b h H=XW_h+b_h H=XWh+bh O = H W o + b o O=HW_o+b_o O=HWo+bo也就是将隐藏层的输出直接作为输出层的输入。如果将以上两个式子联立起来,可以得到 O = ( X W h + b h ) W o + b o = X W h W o + b h W o + b o O=(XW_h+b_h)W_o+b_o=XW_hW_o+b_hW_o+b_o O=(XWh+bh)Wo+bo=XWhWo+bhWo+bo从联立后的式子可以看出,虽然神经网络引入了隐藏层,却依然等价于一个单层神经网络,其中输出层的权重参数为 W h W o W_hW_o WhWo,偏差参数为 b h W o + b o b_hW_o+b_o bhWo+bo。
不难发现,即使再添加更多的隐藏层,以上设计依然只能与仅含输出层的单层神经网络等价。
上述问题的根源在于全连接层只是对数据做仿射变换,而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换,例如对隐藏变脸使用按元素运算的非线性函数进行变换,然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数。
常用的激活函数有ReLU函数,sigmoid函数和tanh函数。