2.12 向量化更多例子-深度学习-Stanford吴恩达教授

最新推荐文章于 2024-05-29 20:57:09 发布

Zhao-Jichao

最新推荐文章于 2024-05-29 20:57:09 发布

阅读量5.2k

点赞数 19

分类专栏：深度学习DL 文章标签：深度学习编程语言机器学习人工智能

本文链接：https://blog.csdn.net/weixin_36815313/article/details/105327576

版权

深度学习DL 专栏收录该内容

206 篇文章 2727 订阅

订阅专栏

←上一篇	↓↑	下一篇→
2.11 向量化	回到目录	2.13 向量化 Logistic 回归

向量化更多例子 (More Vectorization Examples)

从上节视频中，你知道了怎样通过numpy内置函数和避开显式的循环(loop)的方式进行向量化，从而有效提高代码速度。

经验提醒我，当我们在写神经网络程序时，或者在写逻辑(logistic)回归，或者其他神经网络模型时，应该避免写循环(loop)语句。虽然有时写循环(loop)是不可避免的，但是我们可以使用比如numpy的内置函数或者其他办法去计算。当你这样使用后，程序效率总是快于循环(loop)。

让我们看另外一个例子。如果你想计算向量 $u = A v$ ，这时矩阵乘法定义为，矩阵乘法的定义就是： $u_i=\sum_jA_{ij}v_i$ ，这取决于你怎么定义 $u_i$ 值。同样使用非向量化实现， $u = n p . z e r o s (n, 1)$ ，并且通过两层循环 $f o r (i) : f o r (j) :$ ，得到 $u [i] = u [i] + A [i] [j] * v [j]$ 。现在就有了 $i$ 和 $j$ 的两层循环，这就是非向量化。向量化方式就可以用 $u = n p . d o t (A, v)$ ，右边这种向量化实现方式，消除了两层循环使得代码运行速度更快。

在这里插入图片描述

下面通过另一个例子继续了解向量化。如果你已经有一个向量 $v$ ，并且想要对向量 $v$ 的每个元素做指数操作，得到向量 $u$ 等于 $e$ 的 $v_1$ ， $e$ 的 $v_2$ ，一直到 $e$ 的 $v_n$ 次方。这里是非向量化的实现方式，首先你初始化了向量 $u = n p . z e r o s (n, 1)$ ，并且通过循环依次计算每个元素。但事实证明可以通过python的numpy内置函数，帮助你计算这样的单个函数。所以我会引入import numpy as np，执行 $u = n p . e x p (v)$ 命令。注意到，在之前有循环的代码中，这里仅用了一行代码，向量 $v$ 作为输入， $u$ 作为输出。你已经知道为什么需要循环，并且通过右边代码实现，效率会明显的快于循环方式。

事实上，numpy库有很多向量函数。比如 u=np.log是计算对数函数( $l o g$ )、 np.abs() 是计算数据的绝对值、np.maximum() 计算元素 $y$ 中的最大值，你也可以 np.maximum(v,0) 、 $v * * 2$ 代表获得元素 $y$ 每个值得平方、 $\frac1v$ 获取元素 $y$ 的倒数等等。所以当你想写循环时候，检查numpy是否存在类似的内置函数，从而避免使用循环(loop)方式。

在这里插入图片描述

那么，将刚才所学到的内容，运用在逻辑回归的梯度下降上，看看我们是否能简化两个计算过程中的某一步。这是我们逻辑回归的求导代码，有两层循环。在这例子我们有 $n$ 个特征值。如果你有超过两个特征时，需要循环 $dw_1$ 、 $dw_2$ 、 $dw_3$ 等等。所以 $j$ 的实际值是1、2 和 $n_x$ ，就是你想要更新的值。所以我们想要消除第二循环，在这一行，这样我们就不用初始化 $dw_1$ ， $dw_2$ 都等于0。去掉这些，而是定义 $d w$ 为一个向量，设置 $u = n p . z e r o s (n (x), 1)$ 。定义了一个 $x$ 行的一维向量，从而替代循环。我们仅仅使用了一个向量操作 $dw=dw+x^{(i)}dz^{(i)}$ 。最后，我们得到 $d w = d w / m$ 。现在我们通过将两层循环转成一层循环，我们仍然还有这个循环训练样本。