吴恩达机器学习公开课--第二门课：改善深层神经网络

这门课开始讲解从基础概念到如何搭建一个真正的深层网络项目。因为深度学习是一个高迭代的工程，有很多超参数需要调试。
第一周
这周主要讲解一些概念和指标，这是我们之后调试的依据。主要分为以下几个知识点：

1. 训练集、开发集（验证集）、测试集的概念。其中验证集是区分不同算法的标准，就是我们在调整算法时的目标集，不断调整以使得在验证集上表现好，而测试集要求尽量拟合现实情况，这样算法的鲁棒性和扩展性较好。由此易知开发集和测试集都应该尽量和实际情况同分布。而训练集由于数据量要求大，往往达不到这个要求。
2. 偏差和方差的概念。最优误差通常指理论上能达到的误差率（人的误差大部分情况接近最优误差）。以最优误差为基准，训练集误差离最优误差差距大说明此时的偏差较大。以训练集误差为基准，验证集误差离训练集误差差距大说明此时方差较大。
3. 讲根据这两个误差如何调整：高偏差说明训练集上的效果就不好，调整如下：
   1）尝试更大的模型
   2）尝试训练更久
   3）更好的优化算法（相同训练时间效果更好）
   如果是高方差，说明模型可能过拟合，调整如下：
   1）尝试更多的数据（采集、手动创造）
   2）正则化
   3）提前结束训练（not good）
   或者采用更合适的网络框架
4. 讲解正则化。正则化的直观感觉为：因为模型可能过拟合了，如果缩小w，方程会趋近于简单，趋近于直线，因此在代价函数中加入w的正则化（也可以加入b，实际影响不大）。梯度的下降也加入w的式子。
   正则化的方法有以下几种：
   1）L1正则化，即$|w{|}_1$。
   2）L2正则化，即$|w{|}_2^2$。前面除了加入超参数$\lambda$之外一般还有$\frac{1}{2m}$等比例常量。在代价函数和梯度下降时都需要加入对应的正则项。
   3）dropout正则化，即随机失活。设定超参数$keep-prob$. 以给定的概率生成01矩阵，达到训练时使某些结点无效的作用。通过除以$keep-prob$保持$a$的期望不变。但是在测试的时候并不需要失活操作。
5. 讲解归一化输入。这个实际上可以提升网络的训练速度。顾名思义，让输入各个维度的取值范围尽量的相似，这样学习率的取值也较为方便，可以快速的学习到最合适的点。当然，这些理解都是直观上的，感觉上的，这也是目前神经网络的一大问题，实验效果非常重要。
6. 讲解梯度消失和梯度爆炸问题。梯度下降在具体实施的时候，可能会碰到梯度非常小和非常大的情况，而且梯度很小的时候，还涉及到数据表示和计算误差问题，为此在具体实施的时候还会有一些小措施。

第二周
本周讲解一些优化算法