2.7 计算图-深度学习-Stanford吴恩达教授

最新推荐文章于 2024-04-11 15:04:52 发布

Zhao-Jichao

最新推荐文章于 2024-04-11 15:04:52 发布

阅读量5.5k

点赞数 10

分类专栏：深度学习DL 文章标签：深度学习机器学习人工智能算法 python

本文链接：https://blog.csdn.net/weixin_36815313/article/details/105313693

版权

深度学习DL 专栏收录该内容

206 篇文章 2835 订阅

订阅专栏

←上一篇	↓↑	下一篇→
2.6 更多导数的例子	回到目录	2.8 计算图的导数计算

计算图 (Computation Graph)

可以说，一个神经网络的计算，都是按照前向或反向传播过程组织的。首先我们计算出一个新的网络的输出（前向过程），紧接着进行一个反向传输操作。后者我们用来计算出对应的梯度或导数。计算图解释了为什么我们用这种方式组织这些计算过程。在这个视频中，我们将举一个例子说明计算图是什么。让我们举一个比逻辑回归更加简单的，或者说不那么正式的神经网络的例子。

在这里插入图片描述

我们尝试计算函数 $J$ ，是由三个变量 $a, b, c$ 组成的函数，这个函数是 $3 (a + b c)$ 。计算这个函数实际上有三个不同的步骤，首先是计算 $b$ 乘以 $c$ ，我们把它储存在变量 $u$ 中，因此 $u = b c$ ；然后计算 $v = a + u$ ；最后输出 $J = 3 v$ ，这就是要计算的函数 $J$ 。我们可以把这三步画成如下的计算图，我先在这画三个变量 $a, b, c$ ，第一步就是计算 $u = b c$ ，我在这周围放个矩形框，它的输入是 $b, c$ ，接着第二步 $v = a + u$ ，最后一步 $J = 3 v$ 。举个例子: $a = 5, b = 3, c = 2$ ， $u = b c$ 就是6，， $v = a + u$ 就是5+6=11。 $J$ 是3倍的，因此。即 $3 * (5 + 3 * 2)$ 。如果你把它算出来，实际上得到33就是 $J$ 的值。当有不同的或者一些特殊的输出变量时，例如本例中的 $J$ 和逻辑回归中你想优化的代价函数 $J$ ，因此计算图用来处理这些计算会很方便。从这个小例子中我们可以看出，通过一个从左向右的过程，你可以计算出的 $J$ 值。为了计算导数，从右到左（红色箭头，和蓝色箭头的过程相反）的过程是用于计算导数最自然的方式。概括一下：计算图组织计算的形式是用蓝色箭头从左到右的计算，让我们看看下一个视频中如何进行反向红色箭头(也就是从右到左)的导数计算，让我们继续下一个视频的学习。