吴恩达《深度学习专项》第一阶段总结与第二阶段预览

经过前四周的学习，我们已经学完了《深度学习专项》的第一门课程《神经网络与深度学习》。让我们总结一下这几周学的知识，查缺补漏。

《神经网络与深度学习》知识回顾

概览

在有监督统计机器学习中，我们会得到一个训练集。训练集中的每一条训练样本由输入和输出组成。我们希望构建一个数学模型，使得该模型在学习了训练集中的规律后，能够建立起输入到输出的映射。

在深度学习中，使用的数学模型是深度神经网络。

神经网络一般可以由如下的计算图表示：

其中，每一个圆形的计算单元（又称神经元）一般表示$g(WX+b)$这一组计算。$W,b$是线性运算的参数，$g$是激活函数。

为了使神经网络学习到输入和正确输出的映射，我们要定义一个描述网络输出和正确输出之间差距的损失函数（即每个样本的网络输出与正确输出的误差函数的平均值），并最小化这个损失函数。这样，网络的“学习”就成为了一个优化问题。

为了对这个优化问题求解，通常的方法是梯度下降法，即通过求导，使每一个参数都沿着让损失函数减少最快的方向移动。

神经网络的结构

神经网络由输入层，隐藏层，输出层组成。计算神经网络的层数$L$时，我们只考虑隐藏层与输出层。

令$x_k^{(i)[j]}$表示某向量在第 i i