深度学习系列4：深度神经网络(DNN)，夜空中最亮的星

引言

深度学习(DNN) 功能之强、应用之广，可以说是机器学习里最亮的星。

其实深度学习就是深度神经网络(Deep Neural Networks)，也就是层次比较多的神经网络，今天我们一起来会会它。

一、深度神经网络概述

深度神经网络包括输入层、多个隐含层和输出层，每层含有多个节点。

每个节点都是一个算法神经元，从上层接收多个输入，按权重加和再用激活函数生成输出，而这个输出又作为下一层的输入。

层次多了网络就更复杂，也就可以学习到更复杂的函数关系。实验表明，只要有足够数量和维度的样本，深度学习总能学习到比较好的结果。

下面我们详细认识一下。

二、深度神经网络的表示

一般说 N 层神经网络，这里的 N 不包括输入层，仅包含隐含层和输出层。

2.1 深度神经网络的索引符号

在深度神经网络中，因为涉及到第几层第几个节点第几个样本，所以要用不同的索引来区分。拿第 l 层的第 i 个节点举例：
$$\begin{array}{rl}{z}_i^{[l]}& =w^{[l]}{a}^{[l-1]}+b^l\\ a_i^{[l]}& =relu(z_i^{[l]})\end{array}$$

• 上标中括号表示第几层：$a^{[1]}$, $a^{[2]}$
  • $a^{[l]}$ 表示第 l 层的输出，同时也是第 l+1 层的输入
  • 输入层也称为第0层，可以写成 $a^{[0]}$
  • 输出层 $\hat{y}$ : 也就是最后一层的输出，表示为 $a^{[L]}$
• 上标小括号表示第几个样本：$a^{(1)}$, $a^{(2)}$
• 下标表示当前层第几个节点(维度)：$a_1$, $a_2$

2.2 深度神经网络矩阵化

如图所示，不失一般性，我们推导一下如何从 [l-1] 层 到达 [l] 层

• 第 l-1 层有四个节点(维度)
  • $(a_1^{[l-1]},a_2^{[l-1]},a_3^{[l-1]},a_4^{[l-1]})$
• 第 l 层的有两个节点(维度)
  • $(a_1^{[l]},a_2^{[l]}$）

先考虑一个样本的情况

$$z_1^{[l]}=\left[\begin{array}{c}{w}_{11}^{[l]}{w}_{12}^{[l]}{w}_{13}^{[l]}{w}_{14}^{[l]}\end{array}\right]\left[\begin{array}{c}{a}_1^{[l-1]}\\ a_2^{[l-1]}\\ a_3^{[l-1]}\\ a_4^{[l-1]}\end{array}\right]+b_1^{[l]}$$

$$z_2^{[l]}=\left[\begin{array}{c}{w}_{21}^{[l]}{w}_{22}^{[l]}{w}_{23}^{[l]}{w}_{24}^{[l]}\end{array}\right]\left[\begin{array}{c}{a}_1^{[l-1]}\\ a_2^{[l-1]}\\ a_3^{[l-1]}\\ a_4^{[l-1]}\end{array}\right]+b_2^{[l]}$$

将两个公式合为矩阵：
$$\left[\begin{array}{c}{z}_1^{[l]}\\ z_2^{[l]}\end{array}\right]=\left[\begin{array}{c}{w}_{11}^{[l]}{w}_{12}^{[l]}{w}_{13}^{[l]}{w}_{14}^{[l]}\\ w_{21}^{[l]}{w}_{22}^{[l]}{w}_{23}^{[l]}{w}_{24}^{[l]}\end{array}\right]\left[\begin{array}{c}{a}_1^{[l-1]}\\ a_2^{[l-1]}\\ a_3^{[l-1]}\\ a_4^{[l-1]}\end{array}\right]+\left[\begin{array}{c}{b}_1^{[l]}\\ b_2^{[l]}\end{array}\right]$$

再考虑 m 个样本的情况：

[ z 11 [ l ] … z 1 m [ l ]