多层感知机与情感分析
文章目录
1.多层感知机
多层感知机在单层神经网络的基础上引入了一到多个隐藏层(hidden layer)。隐藏层位于输入层和输出层之间。
在上图所示的多层感知机中,输入和输出个数分别为4和3,中间的隐藏层中包含了5个隐藏单元(hidden unit)。由于输入层不涉及计算,图中的多层感知机的层数为2。由图可见,隐藏层中的神经元和输入层中各个输入完全连接,输出层中的神经元和隐藏层中的各个神经元也完全连接。因此,多层感知机中的隐藏层和输出层都是全连接层。
具体来说,给定一个小批量样本 X ∈ R n × d X \in \R^{n \times d} X∈Rn×d,其批量大小为 n n n,输入个数为 d d d 。假设多层感知机只有一个隐藏层,其中隐藏单元个数为 h h h 。记隐藏层的输出(也称为隐藏层变量或隐藏变量)为 H H H,有 H ∈ R n × h H \in \R^{n \times h} H∈Rn×h。因为隐藏层和输出层均是全连接层,可以设隐藏层的权重参数和偏差参数分别为 W h ∈ R d × h W_h \in \R^{d \times h} Wh∈Rd×h和 b h ∈ R 1 × h b_h \in \R^{1 \times h} bh∈R1×h,输出层的权重和偏差参数分别为 W o ∈ R h × q W_o \in \R^{h \times q} Wo∈Rh×q和 b o ∈ R 1 × q b_o \in \R^{1 \times q} bo∈R1×q。
我们先来看一种含单隐藏层的多层感知机的设计。其输出 O ∈ R n × q O \in \R^{n \times q} O∈Rn×q的计算为:
H = X W h + b h O = H W o + b o H = XW_h + b_h \\ O = HWo + b_o H=XWh+bhO=HWo+bo
也就是将隐藏层的输出直接作为输出层的输入。如果将以上两个式子联立起来,可以得到
O = ( X W h + b h ) W o + b o = X W h W o + b h W o + b o O=(XW_h+b_h)W_o+b_o=XW_hW_o+b_hW_o+b_o O=(XWh+bh)Wo+bo=XWhW