MLP情感分析模型

多层感知机与情感分析

1.多层感知机

多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。

在上图所示的多层感知机中，输入和输出个数分别为4和3，中间的隐藏层中包含了5个隐藏单元（hidden unit）。由于输入层不涉及计算，图中的多层感知机的层数为2。由图可见，隐藏层中的神经元和输入层中各个输入完全连接，输出层中的神经元和隐藏层中的各个神经元也完全连接。因此，多层感知机中的隐藏层和输出层都是全连接层。

具体来说，给定一个小批量样本$X\in {\mathbb{R}}^{n\times d}$，其批量大小为$n$，输入个数为$d$ 。假设多层感知机只有一个隐藏层，其中隐藏单元个数为 $h$ 。记隐藏层的输出（也称为隐藏层变量或隐藏变量）为 $H$，有$H\in {\mathbb{R}}^{n\times h}$。因为隐藏层和输出层均是全连接层，可以设隐藏层的权重参数和偏差参数分别为$W_h\in {\mathbb{R}}^{d\times h}$和$b_h\in {\mathbb{R}}^{1\times h}$，输出层的权重和偏差参数分别为$W_o\in {\mathbb{R}}^{h\times q}$和$b_o\in {\mathbb{R}}^{1\times q}$。

我们先来看一种含单隐藏层的多层感知机的设计。其输出$O\in {\mathbb{R}}^{n\times q}$的计算为：
$$\begin{gathered} H=X{W}_h+b_h \\ O=HWo+b_o \end{gathered}$$
也就是将隐藏层的输出直接作为输出层的输入。如果将以上两个式子联立起来，可以得到
O = ( X W h + b h ) W o + b o = X W h W o + b h W o + b o O=(XW_h+b_h)W_o+b_o=XW_hW_o+b_hW_o+b_o O=(XWh​+bh​)Wo​+bo​=XWh​W