简单的数学计算：PyTorch 1.9 增强了分布式训练和科学计算

最新推荐文章于 2024-07-18 18:09:32 发布

lyfwx

最新推荐文章于 2024-07-18 18:09:32 发布

阅读量159

点赞数

本文链接：https://blog.csdn.net/lyfwx/article/details/118379916

版权

PyTorch 1.9 强化了分布式训练和科学计算功能，包括稳定版 autograd 和 torch.linalg，支持 NumPy 线性代数函数，以及新的包装格式torch.package。此外，移动解释器、优化器ZeroRedundancyOptimizer和Profiler的改进，使模型部署和性能分析更加高效。TorchVision、TorchAudio 和 TorchText 也得到了更新，增加了对移动设备的支持和新功能，如 SSDlite 对象检测架构和 wav2vec2.0 语音识别模型。

摘要由CSDN通过智能技术生成

神经网络和张量计算框架 PyTorch 1.9 版现已推出。更新中的 3400 多次提交有望帮助该项目成为分布式训练和移动场景的更可行选择，从而提高性能。

面对 Google 的TensorFlow形式的强大竞争对手，Facebook 的 PyTorch 团队正试图通过最终将复杂的 autograd 和线性代数模块 torch.linalg 等重要功能升级为稳定版，朝着更广泛的适用性迈出一大步。从 v1.9 开始，PyTorch 包括可在流行的 NumPy 库中找到的线性代数函数的加速支持实现，以及计算复杂梯度和优化损失函数的能力。

希望分享他们的模型的研究人员应该看看仍在试验中的新包装格式torch.package。生成的存档可以通过 .pt 扩展名识别，并包含模型数据(如参数和缓冲区)及其最简单形式的代码。据说代码依赖性也可以自动找到，将包变成一个独立的单元，旨在简化实验的可重复性。

PyTorch 工作进程运行器和协调器 TorchElastic 被转移到 PyTorch 核心，证实了分布式训练对项目的重要性。该领域其他仍处于测试阶段的改进包括 RPC 中的 CUDA 支持，以及通过将 ZeroRedundancyOptimizer 与 DistributedDataParallel 相结合来减少每个进程优化器状态大小的选项。

专注于移动和边缘设备机器学习的团队可能会从新发布的 Mobile Interpreter 中获益。PyTorch 运行时的精简版主要是为了以减小的二进制大小进行评分。

冻结 API 在 PyTorch 1.9 中已达到稳定状态，提供了一种更可靠的方法来将模块参数和属性值作为常