深度神经网络(DNN)模型与前向传播算法

最新推荐文章于 2024-05-13 19:58:13 发布

starleeisamyth

最新推荐文章于 2024-05-13 19:58:13 发布

阅读量382

点赞数 2

分类专栏：深度学习

原文链接：https://www.cnblogs.com/pinard/p/6418668.html

版权

深度学习专栏收录该内容

28 篇文章 1 订阅

订阅专栏

转载出处

深度神经网络（Deep Neural Networks，以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型，下面我们就对DNN模型与前向传播算法做一个总结。

1.从感知机到神经网络

在感知机原理小结中，我们介绍过感知机的模型，它是一个有若干输入和输出的模型，如下图：
在这里插入图片描述
输入和输出之间学习到了一个线性关系，得到中间输出结果：
$\sum_{i=1}^{m} w_ix_i + b$

接着是一个神经元激活函数：
$\begin{cases} -1, \quad z< 0 \\ 1, \quad z\geq0 \end{cases}$

从而得到我们想要的输出结果1或者-1。
这个模型只能用于二元分类，且无法学习比较复杂的非线性模型，因此在工业界无法使用。
而神经网络则在感知机的模型做了扩展，总结下主要有三点：
1）加入了隐藏层，隐藏层可以有多层，增强模型的表达能力，如下图示例，当然增加了这么多隐藏层的复杂度也增加了好多。
在这里插入图片描述
2）输出层的神经元也可以不止一个输出，可以有多个输出，这样模型可以灵活地应用于分类回归，以及其他的机器学习领域比如降维和聚类等。多个神经元输出的输出层对应的一个实例如下图，输出层现在有4个神经元了。
在这里插入图片描述
3）对激活函数的扩展，感知机的激活函数是 $s i g n (z)$ ，虽然简单但是处理能力有限，因此神经网络中一般使用的是其他激活函数，比如我们在逻辑回归里使用过得Sigmoid函数，即：
$\frac{1}{e^{-z} + 1}$

还有后来出现的tanx，softmax，和ReLU等。通过使用不同的激活函数，神经网络的表达能力进一步增强。对于各种常用的激活函数，我们在后面再专门讲。

2.DNN的基本结构

上一节我们了解了神经网络基于感知机的扩展，而DNN可以理解为有很多隐藏层的神经网络。这个很多其实也没有什么度量标准，多层神经网络和深度神经网络DNN其实也是指的一个东西，当然，DNN有时也叫做多层感知机（Multi-Layer perception, MLP），名字实在是多。后面我们讲到的神经网络都默认为DNN。
从DNN按不同层的位置划分，DNN内部的神经网络可以分为三类，输入层，隐藏层和输出层，如下图所示，一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐藏层。
在这里插入图片描述
层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但从小的局部模型来说，还是和感知机一样，即一个线性关系 $\sum w_ix_i + b$ 加上一个激活函数 $\sigma(z)$ 。
由于DNN层数多，我们的线性关系系数 $w$ 和偏移 $b$ 的数量也就是很多了。具体的参数在DNN是如何定义的呢？
首先我们来看看线性关系系数 $w$ 的定义。以下图的一个三层的DNN为例，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为 $w^3_{24}$ 。上标3代表线性系数 $w$ 所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4.也许你会问，为什么不是 $w^3_{42}$ 而是 $w^3_{24}$ ？这主要是为了便于模型用于矩阵运算，如果是 $w^3_{42}$ 而每次进行矩阵运算是 $w^Tx + b$ ，需要进行转置。将输出的索引放在前面的话，则线性运算不用转置，即直接为 $w x + b$ 。总结下，第 $l - 1$ 层的第 $k$ 个神经元到第 $l$ 层的第 $j$ 个神经元的线性系数定义为 $w^l_{jk}$ 。注意，输入层是没有 $w$ 参数的。
在这里插入图片描述
再来看看偏倚 $b$ 的定义。还是以这个三层的DNN为例，第二层的第三个神经元对应的偏倚量定义为 $b^2_3$ 。其中，上标2代表所在层数，下标3代表偏倚所在的神经元的索引。同样的道理，第三层的第一个神经元的偏倚应该表示为 $b^3_1$ 。同样的，输入层是没有偏倚参数 $b$ 的。
在这里插入图片描述

3.DNN前向传播算法数学原理

在上一节，我们已经介绍了DNN各层线性关系系数 $w$ ，偏倚 $b$ 的定义。假设我们选择的激活函数是 $\sigma(z)$ ，隐藏层和输出层的输出值为 $a$ ，则对于下图的三层DNN，利用和感知机一样的思路，我们可以利用上一层的输出计算下一层的输出，也就是所谓的DNN前向传播算法。
在这里插入图片描述
对于第二层的输出 $a^2_1$ ， $a^2_2$ ， $a^2_3$ ，我们有：
$a^2_1 = \sigma(z^2_1) = \sigma(w^2_{11}x_1 + w^2_{12}x_2 + w^2_{13}x_3 + b^2_1) \\ a^2_2 = \sigma(z^2_2) = \sigma(w^2_{21}x_1 + w^2_{22}x_2 + w^2_{23}x_3 + b^2_2) \\ a^2_3 = \sigma(z^2_3) = \sigma(w^2_{31}x_1 + w^2_{32}x_2 + w^2_{33}x_3 + b^2_3)$
对于第三层的输出 $a^3_1$ ，我们有
$a^3_1 = \sigma(z^3_1) = \sigma(w^3_{11}a^2_1 + w^3_{12}a^2_2 + w^3_{13}a^2_3 + b^3_1)$
将上面的例子一般化，假设第 $l - 1$ 层共有m个神经元，则对于第 $l$ 层的第j个神经元的输出 $a^l_j$ ，我们有：
$a^l_j = \sigma(z^l_j) = \sigma(\sum_{k=1}^mw^l_{jk}a^{l-1}_k + b^l_j)$
其中，如果 $l = 2$ ，则对于的 $a^1_k$ 即为输入层的 $x_k$ 。
从上面可以看出，使用代数法一个个的表示输出比较复杂，而如果使用矩阵法则比较简洁。假设第 $l - 1$ 层共有m个神经元，而第 $l$ 层共有n个神经元，则第 $l$ 层的线性系数 $w$ 组成了一个 $n$ x $m$ 的矩阵 $W^l$ ，第 $l$ 层的偏移量 $b$ 组成了一个 $n$ x 1的向量 $b^l$ ，第 $l - 1$ 层的输出 $a$ 组成了一个 $m$ x 1的向量 $a^{l-1}$ ，第 $l$ 层的未激活前线性输出 $z$ 组成了一个 $n$ x 1的向量 $z^l$ ，第 $l$ 层的输出 $a$ 组成了一个 $n$ x 1的向量 $a^l$ 。则用矩阵法表示，第 $l$ 层的输出为：
$a^l = \sigma(z^l) = \sigma(W^la^{l-1} + b^l)$
这个表示方法简介漂亮，后面我们的讨论都会基于上面的这个矩阵法来表示。

4.DNN前向传播算法

有了上一节的数学推导，DNN的前向传播算法也就不难了。所谓的DNN的前向传播算法也就是利用我们的若干个权重系数矩阵 $W$ ，偏倚向量 $b$ 和输入值向量 $x$ 进行一系列线性运算和激活运算，从输入层开始，一层层地向后运算，一直运算到输出层，得到输出结果为止。
输入：总层数L，所有隐藏层和输出层对应的矩阵 $W$ ，偏倚向量 $b$ ，输入值向量 $x$
输出：输出层的输出 $a^L$
1）初始化 $a^1 = x$
2）for $l = 2$ to $L$ ，计算：
$a^l = \sigma(z^l) = \sigma(W^la^{l-1} + b^l)$
最后的结果即为输出 $a^L$ 。

5.DNN前向传播算法小结

单独看DNN前向传播算法，似乎没有什么大用处，而且这一大堆的矩阵 $W$ ，偏倚向量 $b$ 对应的参数怎么获得呢？怎么得到最优的矩阵 $W$ ，偏倚向量 $b$ 呢？这个我们在讲DNN的反向传播算法时再讲。而理解反向传播算法的前提就是理解DNN的模型和前向传播算法。这也就是我们这一篇先讲的原因。

参考资料：

1）Neural Networks and Deep Learning by Michael Nielsen
2）Deep Learning book by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
3）UFLDL Tutorial

starleeisamyth

关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
深度神经网络(DNN)模型与前向传播算法

转载出处深度神经网络（Deep Neural Networks，以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型，下面我们就对DNN模型与前向传播算法做一个总结。1.从感知机到神经网络在感知机原理小结中，我们介绍过感知机的模型，它是一个有若干输入和输出的模型，如下图：输入和输出之间学习到了一个线性关系，得到中间输出结果：z=∑i=1mwixi+bz = \su...
复制链接

扫一扫