吴恩达深度学习课程心得

心得1：深度学习内的矢量化（vectorization）

在上这门课之前，我从没有意识到一个神经网络可以不用for循环来搭建。吴恩达很好地传达了矢量化代码设计的重要性。在作业中，他还提供了一个标准化的矢量代码设计样本，这样你就可以很方便的应用到自己的应用中了。

心得2：DNN的深层理解

在第一个课程中，我学会了用NumPy库实现前向和反向传播过程，我因而对诸如TensorFlow和Keras这些高级别框架的内部工作机理产生了更深层次的理解。吴恩达通过解释计算图（comptation graph）背后的原理，让我懂得TensorFlow是如何执行“神奇的优化”的。

心得3：为什么需要深度表征（Deep Representations）

吴恩达对DNN‘s的分层方面有着直观的理解。比如，在面部识别方面，他认为先前的分层用于将脸部边缘分组，后续的分层将这些分好的组形成五官（如鼻子、眼睛、嘴等等），再接下来的分层把这些器官组合在一起用以识别人像。他还解释了回路理论（circuit theory），即存在一些函数，需要隐藏单元的指数去匹配浅层网络的数据。可以通过添加有限数量的附加层来简化这个指数问题。

心得4：处理偏差（bias）和方差（variance）的工具

吴教授解释了识别和修缮偏差和方差相关问题的步骤。下图显示了解决这些问题系统性的方法。

心得5：正则化的直观解释

为什么向成本函数中加入一个惩罚项会降低方差效应？在上这门课之前我对它的直觉是它使权重矩阵接近于零，从而产生一个更加“线性”的函数。吴教授则给出了另一个关于tanh激活函数的解释。他认为更小的权重矩阵产生更小的输出，这些输出集中围绕在tanh函数的线性区域。

心得6：逼近贝叶斯最优误差

吴恩达解释了在某些应用中，人类水平的表现如何被用作贝叶斯误差的代表。例如，对于诸如视觉和音频识别的任务，人的水平误差将非常接近贝叶斯误差。这可以让你的团队量化你的模型中可以避免的偏差。没有贝叶斯误差等基准，将很难理解网络中的方差和可避免的偏差问题。