PyTorch实战
文章平均质量分 62
NLP工程化
NLP工程师
展开
-
FX图中的节点代表什么操作
在 FX 图中,每个节点代表一个操作。这些操作可以是函数调用、方法调用、模块实例调用,也可以是 torch.nn.Module 实例的调用。每个节点都对应一个调用站点,如运算符、方法和模块。原创 2024-01-14 23:55:31 · 465 阅读 · 0 评论 -
PyTorch中的AOTAutograd、PrimTorch和TorchInductor
在 PyTorch 中,AOTAutograd 是一个先进的功能,它是 Ahead-Of-Time (AOT) Autograd 的缩写。这是一种新的自动微分方法,它在编译时而不是运行时计算梯度。这使得它可以更有效地处理大型计算图。原创 2024-01-14 23:54:35 · 1336 阅读 · 0 评论 -
PyTorch中的FX图
FX 图是 PyTorch 中的一个主要数据结构,用于在 FX 中间表示(Intermediate Representation,IR)中表示程序。FX 图由一系列节点组成,每个节点代表调用站点(比如运算符、方法和模块)。原创 2024-01-14 23:53:57 · 701 阅读 · 0 评论 -
TorchDynamo 原理和示例
TorchDynamo 是一个设计用于加速未修改的 PyTorch 程序的 Python 级即时(JIT)编译器。它通过 Python Frame Evaluation Hooks(Python 框架评估钩子)来实现这一目标,以便在运行时动态地生成和优化代码。这使得 TorchDynamo 可以有效地处理各种 Python 代码,包括包含控制流(如循环和条件语句)的代码,而无需进行任何修改。原创 2024-01-14 23:53:10 · 922 阅读 · 0 评论 -
PyTorch中的Eager模式
在 PyTorch 中,"Eager Execution"(即即时执行模式)是指一种动态图计算模式,其中每个操作都立即被执行,而不是被先放入计算图中。这与静态图计算框架(如 TensorFlow 的早期版本)的工作方式不同。在即时执行模式中,你可以像使用 NumPy 一样进行操作,逐步构建计算图,方便调试和交互。原创 2024-01-14 23:52:17 · 909 阅读 · 0 评论 -
PyTorch中的nn.LeakyReLU()、nn.Module和nn.ModuleList
在 PyTorch 中,nn.LeakyReLU() 是一个激活函数,用于引入非线性性到神经网络中。Leaky ReLU 是修正线性单元(ReLU)的一种变体,它在输入为负数时不是完全置零,而是引入一个小的负斜率。原创 2024-01-14 23:33:54 · 772 阅读 · 0 评论