2.5 导数-深度学习-Stanford吴恩达教授

最新推荐文章于 2024-03-05 13:30:09 发布

Zhao-Jichao

最新推荐文章于 2024-03-05 13:30:09 发布

阅读量5.2k

点赞数 6

分类专栏：深度学习DL 文章标签：深度学习神经网络机器学习人工智能编程语言

本文链接：https://blog.csdn.net/weixin_36815313/article/details/105310241

版权

深度学习DL 专栏收录该内容

206 篇文章 2758 订阅

订阅专栏

←上一篇	↓↑	下一篇→
2.4 梯度下降法	回到目录	2.6 更多导数的例子

导数 (Derivatives)

这个视频我主要是想帮你获得对微积分和导数直观的理解。或许你认为自从大学毕以后你再也没有接触微积分。这取决于你什么时候毕业，也许有一段时间了，如果你顾虑这点，请不要担心。为了高效应用神经网络和深度学习，你并不需要非常深入理解微积分。因此如果你观看这个视频或者以后的视频时心想：“哇哦，这些知识、这些运算对我来说很复杂。”我给你的建议是：坚持学习视频，最好下课后做作业，成功的完成编程作业，然后你就可以使用深度学习了。在第四周之后的学习中，你会看到定义的很多种类的函数，通过微积分他们能够帮助你把所有的知识结合起来，其中有的叫做前向函数和反向函数，因此你不需要了解所有你使用的那些微积分中的函数。所以你不用担心他们，除此之外在对深度学习的尝试中，这周我们要进一步深入了解微积分的细节。所有你只需要直观地认识微积分，用来构建和成功的应用这些算法。最后，如果你是精通微积分的那一小部分人群，你对微积分非常熟悉，你可以跳过这部分视频。其他同学让我们开始深入学习导数。

在这里插入图片描述

一个函数 $f (a) = 3 a$ ，它是一条直线。下面我们来简单理解下导数。让我们看看函数中几个点，假定 $a = 2$ ，那么 $f (a)$ 是 $a$ 的3倍等于6，也就是说如果 $a = 2$ ，那么函数 $f (a) = 6$ 。假定稍微改变一点点 $a$ 的值，只增加一点，变为2.001，这时 $a$ 将向右做微小的移动。0.001的差别实在是太小了，不能在图中显示出来，我们把它右移一点，现在 $f (a)$ 等于 $a$ 的3倍是6.003，画在图里，比例不太符合。请看绿色高亮部分的这个小三角形，如果向右移动0.001，那么 $f (a)$ 增加0.003， $f (a)$ 的值增加3倍于右移的 $a$ ，因此我们说函数 $f (a)$ 在 $a = 2$ ，是这个导数的斜率，或者说，当 $a = 2$ 时，斜率是3。导数这个概念意味着斜率，导数听起来是一个很可怕、很令人惊恐的词，但是斜率以一种很友好的方式来描述导数这个概念。所以提到导数，我们把它当作函数的斜率就好了。更正式的斜率定义为在上图这个绿色的小三角形中，高除以宽。即斜率等于0.003除以0.001，等于3。或者说导数等于3，这表示当你将 $a$ 右移0.001， $f (a)$ 的值增加3倍水平方向的量。

现在让我们从不同的角度理解这个函数。假设 $a = 5$ ，此时 $f (a) = 3 a = 15$ 。把 $a$ 右移一个很小的幅度，增加到5.001， $f (a) = 15.003$ 。即在 $a = 5$ 时，斜率是3，这就是表示，当微小改变变量 $a$ 的值， $\frac{df(a)}{da}=3$ 。一个等价的导数表达式可以这样写 $\frac{d}{da}f(a)$ ，不管你是否将 $f (a)$ 放在上面或者放在右边都没有关系。在这个视频中，我讲解导数讨论的情况是我们将 $a$ 偏移0.001，如果你想知道导数的数学定义，导数是你右移很小的 $a$ 值（不是0.001，而是一个非常非常小的值）。通常导数的定义是你右移 $a$ (可度量的值)一个无限小的值， $f (a)$ 增加3倍（增加了一个非常非常小的值）。也就是这个三角形右边的高度。

在这里插入图片描述

那就是导数的正式定义。但是为了直观的认识，我们将探讨右移这个值，即使 $a = 0.001$ 并不是无穷小的可测数据。导数的一个特性是：这个函数任何地方的斜率总是等于3，不管 $a = 2$ 或 $a = 5$ ，这个函数的斜率总等于3，也就是说不管 $a$ 的值如何变化，如果你增加0.001， $f (a)$ 的值就增加3倍。这个函数在所有地方的斜率都相等。一种证明方式是无论你将小三角形画在哪里，它的高除以宽总是3。