谷歌的 TensorFlow已经是一个非常成熟的框架,但是最几年Facebook 的 PyTorch却异军突起,逐渐成为热门,而且似乎有要赶超TensorFlow的趋势,PyTorch究竟是何方神圣?
PyTorch到底是什么?
简单来说PyTorch是一个ML的框架,常用于自然语言处理等应用程序。不同于Tensorflow,PyTorch可谓是非常年轻的一个框架,在2017才由Facebook人工智能研究院(FAIR)基于Torch推出。
那么问题就来了,PyTorch有啥用?为何能和Tensorflow并驾齐驱,而且还有反超的势头?回答这个问题的话,首先我们看一下PyTorch有什么特点:
1、具有强大的GPU加速的张量计算(如NumPy)
2、包含自动求导系统的的深度神经网络
3、动态图机制
什么是张量?
张量的英文是Tensor,它是PyTorch里面基础的运算单位,与Numpy的ndarray相同都表示的是一个多维的矩阵。所以你可以理解为张量它就是一个多维的矩阵,那么张量具体长啥样呢?
随机生成一个值在【0-1】的2行3列的张量,可以看到就像下图所示这样的一个矩阵,就是张量:
与ndarray的最大区别就是,PyTorch的Tensor可以在 GPU 上运行,而 numpy 的 ndarray 只能在 CPU 上运行,在GPU上运行大大加快了运算速度。张量还有很多花式的叫法:
第零阶张量 (r = 0) 为标量 (Scalar)
第一阶张量 (r = 1) 为向量 (Vector)
第二阶张量 (r = 2) 则成为矩阵 (Matrix)
第三阶以上的统称为多维张量
可能会有同学发出疑问,介都是些嘛玩意。咱们直接上代码,生成一个标量如下:
而向量则长这样:
tensor([0.8594, 0.4509, 1.3533])
矩阵已经生成过了,翻到上面自个看~
可能又会有同学好奇,张量能做嘛?你可以理解成张量是数据,你能对数据做什么?当然是对数据做计算,加减乘除,求导求积,你想干啥就干啥~
看到这里就能知道“具有强大的GPU加速的张量计算”,是什么意思了
就是把对张量的计算扔给GPU图形处理器去做,一般来说计算的东西都是扔给CPU做,但是这能扔给GPU做。那么为何要扔给GPU呢?因为你对张量的计算,都是在计算图(Computational Graphs)里做的,图交给图形处理器,岂不美哉?
这里又有同学提问了,什么是计算图?
什么是计算图?
计算图是啥,假设我们有一个复杂的计算图,这个计算图你可以想象成一个工厂,我把原料(数据),就是张量。扔进这个工厂里,工厂里有很多流水线,张量原料沿着流水线缓缓流动加工,最后加工出来我们想要的结果。
想象力不够丰富?假设我们要计算这么一个模型:
模型的计算图就是下图这样:
什么是自动求导?
在张量(Tensor类)上的所有操作,Autograd都能为他们自动提供微分,简化了手动计算导数的复杂过程。简单来讲,就是调用一个方法,该方法会自动计算该变量的导数。
比如上面计算图中,W1,W2,W3是变量,求得W1,W2,W3变量的对应的导数,只需要调用封装好的方法 . grad。如w1.grad w2.grad w3.grad
什么是动态图?
计算图有静态图和动态图之分,那么到底什么是静态图?什么是动态图?它们之间有什么区别呢?上面已经讲过,计算图就相当于一个工厂。
-
静态图可以理解为,这个工厂你一创建,它就固定下来了,你想在工厂内部修改某一条流水线?这样是不行的,你只能重新再创建一个工厂,工厂里面的东西不能变。
-
动态图则相反,创建了一个工厂,这个工厂里我想增加一条流水线,删除或者修改一个流水线,是可行的。
Tensorflow与PyTorch有嘛区别?
1 ) 区别
pytorch和TensorFlow最重要的一点区别就是在pytorch中是动态图机制,而在TensorFlow中是静态图机制。
虽然Tensorflow 2.0已经引入了动态图机制Eager模式。但是Tensorflow的API实在是太太太太太太多了,有点不好搞。而Pytorch清晰明了简洁,API比较简洁,所以比Tensorflow 更容易上手。
比较一下while循环语句的两种定义 - 第一个是在TensorFlow中,第二个是在PyTorch中:
2 ) 前景
目前:Pytorch因其简单易上手,而被广大Researcher所使用。因此, Pytorch 已经在学术界超越Tensorflow。但是目前在工业界Tensorflow依旧一枝独秀,为啥呢?因为工业界更注重部署,而Tensorflow的生态更有利于快速部署。
未来:Tensorflow在工业界的地位,也没有那么牢固,因为生态总归是人构建的。当学术界疯狂扑入Pytorch,对新模型的适配等工作,自然会倾向于Pytorch了。
- THE END -
文章内容仅代表作者个人观点
作者:莫宝渔
编辑:詹思璇