技术17期：近几年崛起的Pytorch究竟是何方神圣？

谷歌的 TensorFlow已经是一个非常成熟的框架，但是最几年Facebook 的 PyTorch却异军突起，逐渐成为热门，而且似乎有要赶超TensorFlow的趋势，PyTorch究竟是何方神圣？

 

 

PyTorch到底是什么？

 

简单来说PyTorch是一个ML的框架，常用于自然语言处理等应用程序。不同于Tensorflow，PyTorch可谓是非常年轻的一个框架，在2017才由Facebook人工智能研究院（FAIR）基于Torch推出。

 

那么问题就来了，PyTorch有啥用？为何能和Tensorflow并驾齐驱，而且还有反超的势头？回答这个问题的话，首先我们看一下PyTorch有什么特点：

 

1、具有强大的GPU加速的张量计算（如NumPy）

2、包含自动求导系统的的深度神经网络

3、动态图机制

 

 

什么是张量？

 

张量的英文是Tensor，它是PyTorch里面基础的运算单位，与Numpy的ndarray相同都表示的是一个多维的矩阵。所以你可以理解为张量它就是一个多维的矩阵，那么张量具体长啥样呢？

 

随机生成一个值在【0-1】的2行3列的张量，可以看到就像下图所示这样的一个矩阵，就是张量：

 

 

与ndarray的最大区别就是，PyTorch的Tensor可以在 GPU 上运行，而 numpy 的 ndarray 只能在 CPU 上运行，在GPU上运行大大加快了运算速度。张量还有很多花式的叫法：

 

第零阶张量 （r = 0） 为标量 （Scalar）

第一阶张量 （r = 1） 为向量 （Vector）

第二阶张量 （r = 2） 则成为矩阵 （Matrix）

第三阶以上的统称为多维张量

 

可能会有同学发出疑问，介都是些嘛玩意。咱们直接上代码，生成一个标量如下：

 

 

而向量则长这样：

 

tensor([0.8594, 0.4509, 1.3533])

 

矩阵已经生成过了，翻到上面自个看~

 

可能又会有同学好奇，张量能做嘛？你可以理解成张量是数据，你能对数据做什么？当然是对数据做计算，加减乘除，求导求积，你想干啥就干啥~

 

看到这里就能知道“具有强大的GPU加速的张量计算”，是什么意思了

 

就是把对张量的计算扔给GPU图形处理器去做，一般来说计算的东西都是扔给CPU做，但是这能扔给GPU做。那么为何要扔给GPU呢？因为你对张量的计算，都是在计算图（Computational Graphs）里做的，图交给图形处理器，岂不美哉？

 

这里又有同学提问了，什么是计算图？

 

 

什么是计算图？

 

计算图是啥，假设我们有一个复杂的计算图，这个计算图你可以想象成一个工厂，我把原料（数据），就是张量。扔进这个工厂里，工厂里有很多流水线，张量原料沿着流水线缓缓流动加工，最后加工出来我们想要的结果。

 

想象力不够丰富？假设我们要计算这么一个模型：

 

 

模型的计算图就是下图这样：

 

 

 

什么是自动求导?

 

在张量（Tensor类）上的所有操作，Autograd都能为他们自动提供微分，简化了手动计算导数的复杂过程。简单来讲，就是调用一个方法，该方法会自动计算该变量的导数。

 

比如上面计算图中，W1,W2,W3是变量，求得W1,W2,W3变量的对应的导数，只需要调用封装好的方法 . grad。如w1.grad   w2.grad   w3.grad

 

 

什么是动态图？

 

计算图有静态图和动态图之分，那么到底什么是静态图？什么是动态图？它们之间有什么区别呢？上面已经讲过，计算图就相当于一个工厂。

 

• 静态图可以理解为，这个工厂你一创建，它就固定下来了，你想在工厂内部修改某一条流水线？这样是不行的，你只能重新再创建一个工厂，工厂里面的东西不能变。

• 动态图则相反，创建了一个工厂，这个工厂里我想增加一条流水线，删除或者修改一个流水线，是可行的。 

 

 

Tensorflow与PyTorch有嘛区别？

 

1 ) 区别

 

pytorch和TensorFlow最重要的一点区别就是在pytorch中是动态图机制，而在TensorFlow中是静态图机制。

 

虽然Tensorflow 2.0已经引入了动态图机制Eager模式。但是Tensorflow的API实在是太太太太太太多了，有点不好搞。而Pytorch清晰明了简洁,API比较简洁，所以比Tensorflow 更容易上手。

 

比较一下while循环语句的两种定义 - 第一个是在TensorFlow中，第二个是在PyTorch中：

 

 

 

2 ) 前景

 

目前：Pytorch因其简单易上手，而被广大Researcher所使用。因此， Pytorch 已经在学术界超越Tensorflow。但是目前在工业界Tensorflow依旧一枝独秀，为啥呢？因为工业界更注重部署，而Tensorflow的生态更有利于快速部署。

 

 

未来：Tensorflow在工业界的地位，也没有那么牢固，因为生态总归是人构建的。当学术界疯狂扑入Pytorch，对新模型的适配等工作，自然会倾向于Pytorch了。

- THE END -

 

文章内容仅代表作者个人观点

作者：莫宝渔

编辑：詹思璇