多层感知机和神经网络的区别_情感分析之多层全连接神经网络

全连接神经网络

全连接神经网络是一种最基本的神经网络结构，英文为Full Connection，所以一般简称FC。FC的准则很简单：神经网络中除输入层之外的每个节点都和上一层的所有节点有连接。

上图是一个双隐层的前馈全连接神经网络，或者叫多层感知机 (MLP)。它的每个隐层都是全连接层。它的每一个单元叫神经元。多层感知机在单层神经网络的基础上引入了一到多个隐藏层(hidden layer)。隐藏层位于输入层和输出层之间。

在上图所示的多层感知机中，输入和输出个数分别为4和3，中间的隐藏层中包含了5个隐藏单元(hidden unit)。由于输入层不涉及计算，图中的多层感知机的层数为2。由图可见，隐藏层中的神经元和输入层中各个输入完全连接，输出层中的神经元和隐藏层中的各个神经元也完全连接。因此，多层感知机中的隐藏层和输出层都是全连接层。

具体来说，给定一个小批量样本

，其批量大小为 n ，输入个数为 d 。假设多层感知机只有一个隐藏层，其中隐藏单元个数为 h 。记隐藏层的输出(也称为隐藏层变量或隐藏变量)为 H ，有

。因为隐藏层和输出层均是全连接层，可以设隐藏层的权重参数和偏差参数分别为

和

，输出层的权重和偏差参数分别为

和

。

我们先来看一种含单隐藏层的多层感知机的设计。其输出的计算为：

也就是将隐藏层的输出直接作为输出层的输入。如果将以上两个式子联立起来，可以得到

从联立后的式子可以看出，虽然神经网络引入了隐藏层，却依然等价于一个单层神经网络：其中输出层权重参数为

，偏差参数为

。不难发现，即便再添加更多的隐藏层，以上设计依然只能与仅含输出层的单层神经网络等价。

激活函数

全连接层只是对数据做仿射变换(affine transformation)，而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换，例如对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数(activation function)。下面我们介绍几个常用的激活函数。

ReLU函数

ReLU(rectified linear unit)函数提供了一个很简单的非线性变换。给定元素 x ，该函数定义为：

可以看出&#x