PyTorch：动态图与静态图的比较

作者：禅与计算机程序设计艺术

1.简介

PyTorch是一个开源的Python机器学习框架，它提供了两个运行模式：静态图模式和动态图模式。静态图模式通过编程的方式构建计算图，使得模型的训练、测试等过程变得简单高效；而动态图模式则不需要用户编写计算图，直接调用Python API即可完成模型的构建及训练、推理等操作。动态图模式能够更加灵活地对模型进行调整，适用于快速迭代的实验阶段；而静态图模式则适用于部署阶段，可以在更高效的硬件设备上运行模型，提升模型的执行速度。本文将会详细分析两种运行模式之间的区别及优缺点，并分享一些常用模块的详细使用方法，帮助读者在实际开发中选择合适的运行模式。

2.基本概念与术语

2.1 静态图与动态图

静态图和动态图是TensorFlow和PyTorch两种深度学习框架的运行模式。在静态图模式下，模型是由固定数量的计算节点组成的计算图，其中的每个节点代表一个数学运算或多输入、多输出的函数。每次模型计算时，都可以直接从图中按顺序计算各个节点的输出值，即“一次性”完成整个模型的计算流程。而在动态图模式下，模型是通过Python编程语言来描述的，不同于静态图模式的静态计算图，动态图模式下，模型在每一步的执行过程中，都需要根据当前的数据状态（输入）重新构建计算图，因此“零次性”完成整个模型的计算流程。

2.2 概念与术语

静态图模式：这种模式构建计算图，使得模型的训练、测试等过程变得简单高效。比如，将神经网络模型定义为类的形式，在类的构造函数中，依据输入参数定义计算图的结构࿰