神经网络

最新推荐文章于 2024-08-06 11:48:38 发布

Fighting_No1

最新推荐文章于 2024-08-06 11:48:38 发布

阅读量1.9k

点赞数

分类专栏：大数据文章标签：神经网络

本文链接：https://blog.csdn.net/Fighting_No1/article/details/89466956

版权

神经网络

参考资料：

深度学习发展简史

深度学习的概念是从人工神经网络的研究中发展而来的，早期的感知器模型只能解决简单的线性分类问题，后来发现通过增加网络的层数可以解决类似于“异或问题”的线性不可分问题，这种多层的神经网络又被称为多层感知器。对于多层感知器，我们使用BP算法进行模型的训练，但是我们发现BP算法有着收敛速度慢，以及容易陷入局部最优等缺点，导致BP算法无法很好的训练多层感知器。另外，当时使用的激活函数也存在着梯度消失的问题，这使得人工神经网络的发展几乎陷入了停滞状态。为了让多层神经网络能够训练，学者们探索了很多的改进方案，直到2006年Hinton等人基于深度置信网络（DBN）提出了非监督贪心逐层训练算法，才让这一问题的解决有了希望，而深度学习的浪潮也由此掀起。

前馈神经网络综述

本节内容主要包括四个部分，第一部分我们介绍一下神经网络的基本结构，从基本的感知器模型到多层的神经网络结构；第二部分介绍神经网络中常用的激活函数；第三部分介绍损失函数和输出单元的选择；第四部分介绍神经网络模型中的一个重要的基础知识——反向传播算法。

（1）神经网络的基本结构

1. 感知机模型

感知器（Perceptron）是一种最简单的人工神经网络，也可以称之为单层神经网络，如图1所示。感知器是由Frank Rosenblatt在1957年提出来的，它的结构很简单，输入是一个实数值的向量，输出只有两个值：1或-1，是一种两类线性分类模型。

图1 感知器模型

如上图所示，感知器对于输入的向量先进行了一个加权求和的操作，得到一个中间值，假设该值为Z，则有：

接着再经过一个激活函数得到最终的输出，该激活函数是一个符号函数：

公式1中的b可以看做是一个阈值（我们通常称之为偏置项），当输入向量的加权和大于该阈值时（两者之和），感知器的输出为1，否则输出为-1。

2. 多层神经网络

感知器只能解决线性可分的问题，以逻辑运算为例：

图2 逻辑运算

感知器可以解决逻辑“与”和逻辑“或”的问题，但是无法解决“异或”问题，因为“异或”运算的结果无法使用一条直线来划分。为了解决线性不可分的问题，我们需要引入多层神经网络，理论上，多层神经网络可以拟合任意的函数。

与单层神经网络相比，多层神经网络除了有输入层和输出层以外，还至少需要有一个隐藏层，如图3所示是含有一个隐藏层的两层神经网络：

图3 两层神经网络

（2）激活函数

线性模型在处理非线性问题时往往手足无措，这时我们需要引入激活函数来解决线性不可分问题。激活函数（Activation function），又名激励函数，往往存在于神经网络的输入层和输出层之间，作用是给神经网络中增加一些非线性因素，使得神经网络能够解决更加复杂的问题，同时也增强了神经网络的表达能力和学习能力。另外我们使用基于梯度的方式来训练模型，因此激活函数也必须是连续可导的。

常用的激活函数有Sigmoid函数、双曲正切激活函数（tanh）、修正线性单元（ReLU）等。

1. Logistic函数

Logistic函数（又称为sigmoid函数）的数学表达式和函数图像如图4所示：

图4 Logistic函数表达式及函数图像

Logistic函数在定义域上单调递增，值域为[0,1]，越靠近两端，函数值的变化越平缓。因为Logistic函数简单易用，以前的神经网络经常使用它作为激活函数，但是Sigmoid函数也有两个很大的缺点：首先是Sigmoid函数会造成梯度消失问题，从图像中我们也可以得知，当输入特别大或是特别小时，神经元的梯度几乎接近于0，这就导致神经网络不收敛，模型的参数不会更新，训练过程将变得非常困难。另一方面，Sigmoid函数的输出不是以0为均值的，导致传入下一层神经网络的输入是非0的。这就导致一个后果：若Sigmoid函数的输出全部为正数，那么传入下一层神经网络的值永远大于0，这时参数无论怎么更新梯度都为正。正是基于上述的缺点，Sigmoid函数近年来的使用频率也在渐渐减弱。

2. Tanh函数

Tanh函数（双曲正切激活函数）的数学表达式和函数图像如图5所示：

图5 Tanh函数表达式及函数图像

Tanh函数是Sigmoid函数的变形，其值域为[-1,1]，且Tanh函数的输出是以为0均值的，这就一定程度上解决了上述Sigmoid函数的第二个缺点，所以在实际应用上，Tanh函数要优于Logistic函数，但是Tanh函数也同样面临着在其大部分定义域内都饱和的问题。

3. ReLu函数

ReLU函数（又称修正线性单元或整流线性单元）是目前最受欢迎，也是使用最多的激活函数，其数学表达式和函数图像如图6所示：

图6 ReLU函数表达式及函数图像

ReLU激活函数的收敛速度相较于Logistic函数和Tanh函数要快很多，ReLU函数在轴左侧的值恒为零，这使得网络具有一定的稀疏性，从而减小参数之间的依存关系，缓解过拟合的问题，并且ReLU函数在轴右侧的部分导数是一个常数值1，因此其不存在梯度消失的问题。

但是ReLU函数也有一些缺点，例如ReLU的强制稀疏处理虽然可以缓解过拟合问题，但是也可能产生特征屏蔽过多，导致模型无法学习到有效特征的问题。还有训练的时候不适合大梯度的输入数据，因为在参数更新之后，ReLU的神经元不会再任何数据节点被激活，这就会导致梯度永远为0。比如：输入的数据小于0时，梯度就会为0，这就导致了负的梯度被置0，而且今后也可能不会被任何数据所激活，也就是说ReLU的神经元“坏死”了。所以针对ReLU函数上述的缺点，又出现了带泄露的ReLU（Leaky ReLU）和带参数的ReLU（Parametric ReLU）。

Leaky ReLU是ReLU激活函数的变形，主要是针对ReLU函数中神经元容易坏死的缺陷，将原点左侧小于0的部分，赋予一个很小的斜率。其效果通常要好于ReLU激活函数，但实践中使用的频率并没有那么高。数据公式为：f(x) = max(0, x) + γmin(0, x)。通常，γ是一个很小的常数，如：0.01。

Parametric ReLU是ReLU激活函数的另一种变形，和Leaky ReLU函数一样是非饱和函数，解决了坏死难题。不同之处在于其在函数中引入一个可学习的参数，往往不同的神经元有不同的参数，所以第i个神经元的数学表达式为：f(x) = max(0, x) + γi min(0, x)。当γi 取0时，便可以视为ReLU函数，取很小的常数时，可视为Leaky ReLU函数。相对而言，Parametric ReLU激活函数的使用频率也不是很高。

上述两种ReLU激活函数的变形Leaky ReLU、Parametric ReLU函数图如图7所示：

图7 Leaky ReLU/Parametric ReLU函数图像

（3）损失函数和输出单元

损失函数（Loss Function）又称为代价函数（Cost Function），它是神经网络设计中的一个重要部分。损失函数用来表征模型的预测值与真实类标之间的误差，深度学习模型的训练就是使用基于梯度的方法最小化损失函数的过程。损失函数值越小，说明模型的预测值就越接近真实值，模型的健壮性也就越好。损失函数的选择与输出单元的选择也有着密切的关系。

1. 损失函数的选择

1.1 均方误差损失函数

均方误差（Mean Squared Error，MSE）是一个较为常用的损失函数，我们用预测值和实际值之间的距离（即误差）来衡量模型的好坏，为了保证一致性，我们通常使用距离的平方。在深度学习算法中，我们使用基于梯度的方式来训练参数，每次将一个批次的数据输入到模型中，并得到这批数据的预测结果，再利用这批预测结果和实际值之间的距离更新网络的参数。均方误差损失函数将这一批数据的误差的期望作为最终的误差值，均方误差的公式如下：

上式中y_k为样本数据的实际值，^y_k为模型的预测值。为了简化计算，我们一般会在均方误差的基础上乘以1/2，作为最终的损失函数：

1.2 交叉熵损失函数

交叉熵（Cross Entropy）损失函数使用训练数据的真实类标与模型预测值之间的交叉熵作为损失函数，相较于均方误差损失函数其更受欢迎。假设我们使用均方误差这类二次函数作为代价函数，更新神经网络参数的时候，误差项中会包含激活函数的偏导。在前面介绍激活函数的时候我们有介绍，Logistic等激活函数很容易饱和，这会使得参数的更新缓慢，甚至无法更新。交叉熵损失函数求导不会引入激活函数的导数，因此可以很好地避免这一问题，交叉熵的定义如下：