深度学习——对吴恩达视频第一部分视频疑问的理解

这个相当于自己的笔记，所以不会说的很详细，毕竟写公式麻烦了，2333。

Question1:对反向传播的公式理解？

虽然前面的课都认真听了，但是在看这部分视频的时候，就纳闷为什么会有这样子的公式。后面经过自己的一些脑回放，得出了结论。首先抓住重点，链式求导法则，这个在高数里的习题中经常要用到，比如y=(x+1)^2,如果求x的导数，则我们需要求外面平方函数的导数，然后求里面(x+1)的导数。所以这里讲下第一个公式里的等式由来，原式类似于这样的:

所以我们求z的导数，首先求a对sigmod函数的偏导，然后在求sigmod函数对z的偏导，用公式表达就是下图：

前面是a对sigmod的偏导，为da，后面是sigmod对z的偏导，为g'(z)。

Question2:为什么视频中要用向量化来表示dw，dz这样的导数?

这个问题就涉及到第二部分公式了，这里翻看了笔记发现，这是对m个样本进行梯度下降的做法，那为什么要对m个样本进行计算呢？这里说两个概念，大家就明白了，随机梯度下降和小批量随机梯度下降。训练次数还是需要用for循环，但是对于特征权重和小批量样本梯度下降就可以直接用向量化表示了。这里提一下为什么对每个特征w求平均值，因为这是m个样本在同一次训练中对一个w的影响，所以我们要求平均值。