【Pytorch教程】：为什么 Torch 是动态的

最新推荐文章于 2022-10-11 09:49:44 发布

_APTX4869

最新推荐文章于 2022-10-11 09:49:44 发布

阅读量711

点赞数

分类专栏： Pytorch

本文链接：https://blog.csdn.net/nanke_4869/article/details/113564846

版权

本文是PyTorch教程的一部分，探讨了为何Torch采用动态计算图。相比Tensorflow等静态计算图的框架，PyTorch在处理如RNN等需要动态结构的情况时更灵活，代码编写更简洁。特别是对于不同time steps和training/testing阶段的适应性，动态计算图的优势更为明显。

摘要由CSDN通过智能技术生成

Pytorch教程目录

Torch and Numpy
变量 (Variable)
激励函数
 关系拟合（回归）
区分类型 (分类)
快速搭建法
 批训练
 加速神经网络训练
 Optimizer优化器
 卷积神经网络 CNN
卷积神经网络（RNN、LSTM）
RNN 循环神经网络 (分类)
RNN 循环神经网络 (回归)
自编码 (Autoencoder)
DQN 强化学习
 生成对抗网络 (GAN)
为什么 Torch 是动态的
 GPU 加速运算
 过拟合 (Overfitting)
批标准化 (Batch Normalization)

动态?静态?

对比静态动态, 我们就得知道谁是静态的. 在流行的神经网络模块中, Tensorflow 就是最典型的静态计算模块. 下图是 Tensorflow 计算图. 也就是说, 大部分时候, 用 Tensorflow 是先搭建好这样一个计算系统, 一旦搭建好了, 就不能改动了 (也有例外, 比如dynamic_rnn(), 但是总体来说他还是运用了一个静态思维), 所有的计算都会在这种图中流动, 当然很多情况, 这样就够了, 我们不需要改动什么结构. 不动结构当然可以提高效率. 但是一旦计算流程不是静态的, 计算图要变动.

最典型的例子就是 RNN, 有时候 RNN 的 time step 不会一样, 或者在 training 和 testing 的时候, batch_size 和 time_step 也不一样, 这时, Tensorflow 就头疼了, 如果用一个动态计算图的 Torch, 我们就好理解多了, 写起来也简单多了.

动态RNN

我们拿这一节内容的 RNN 来解释动态计算图. 那节内容的代码在这.

...

######################## 前面代码都一样, 下面开始不同 #########################

################ 那节内容的代码结构 (静态 time step) ##########
for step in range(60):
    start, end = step * np.pi, (step+1)*np.pi   # time steps 都是一样长的
    # use sin predicts cos
    steps = np.linspace(start, end, 10, dtype=np.float32)
    ...

################ 这节内容修改代码 (动态 time step) #########
step