吴恩达老师DeepLearning系列课程最详细学习笔记之17—向量化

教程是本人学习吴恩达老师DeepLearing系列课程中整理的最为详细的学习笔记。学习视频主要来自B站[双语字幕]吴恩达深度学习deeplearning.ai_哔哩哔哩_bilibili?，以及DeepLearning官方网站Deep Learning by deeplearning.ai | Coursera。该系列课程总共有180多个，我会将学习笔记陆续分享出来，为有兴趣深度学习的同仁提供便利。再次由衷感谢吴恩达老师的精彩讲解和无私奉献！

特别说明：图片来源于吴恩达老师视频截图。

 

 

 

 附文本：

 
欢迎回来，向量化通常是消除你的代码中显示for循环语句的艺术。在深度学习实际应用中，你可能会遇到大量的训练数据，因为深度学习算法在在这种情况下表现更好，所以代码的运行速度非常重要，否则如果它运行在一个大的数据集上面，你的代码可能花费很长时间去运行，你会发现你将要等待非常长的时间去得到结果。所以在深度学习领域，我认为可以实现向量化的能力已经变成一个关键的技巧。让我们用一个例子开始。
什么是向量化？在logistic回归中，你需要去计算z=w^T x+b,w是列向量，x也是列向量 。如果你有很多的特征，它们就是非常大的向量。所以w和x都是R内的n_x维向量 。所以去计算w^T x，如果你有一个非向量化的实现，你将会做一些事情，例如z=0，python代码中
for i in range(n_x): 
z+=w[i]*x[i]
z+=b
 
所以，这是一个非向量化的实现，你会发现这真的很慢。
作为对比，一个向量化的实现，将会非常直接计算w^T x。在python或者numpy，你要使用命令z=np.dot(w,x)，这就是在计算w^T x，后面直接加上b，即z=np.dot(w,x)+b， 你将会发现这个非常快。
 
让我们用一个小例子说明一下，在jupyter中编写代码，最后alt+enter执行：
 
对比发现：非向量化的版本花费了300倍向量版本的时间。从这个例子就可以看到，如果你仅仅记住去向量化你的代码，你的代码完全运行300倍快！
当你正在实现深度学习算法，向量化之后，运行速度会大幅度上升。你可能听过很多这样的话：可扩展深度学习实现是在GPU上做的，GPU也叫做图像处理单元，但是我做的所有案例都是在jupyter notebook上面实现的，这里只有CPU。 GPU和CPU都有并行化的指令，有时候会叫做SIMD指令，意思是单指令流多数据流，这个词的意思是，如果你使用了这样的内置函数np.function或者其他能让你去掉显示for循环的函数，这样python的numpy能够充分利用并行化去更快的计算。这点对GPU和CPU上面计算都是成立的。GPU更擅长SIMD计算，但是CPU事实上也不是太差，可能没有GPU那么擅长吧。
你见到了向量化能够加速你的代码，经验法则是，只要有其他可能，就不要使用显示for循环。让我们在下一个视频中看看更多的向量化案例。