一.PyTorch 中的 AOTAutograd
在 PyTorch 中,AOTAutograd 是一个先进的功能,它是 Ahead-Of-Time (AOT) Autograd 的缩写。这是一种新的自动微分方法,它在编译时而不是运行时计算梯度。这使得它可以更有效地处理大型计算图。以下是一些关于 AOTAutograd 的论文:
-
“TorchProbe: Fuzzing Dynamic Deep Learning Compilers” by Q Su, C Geng, G Pekhimenko, X Si. 这篇文章讨论了如何在 PyTorch 的最新主分支上从源代码构建 PyTorch,并提到了由于 AOT Autograd 错误而导致的崩溃。可以在这里[1]找到这篇文章。
-
“μ-TWO: 3× Faster Multi-Model Training with Orchestration and Memory Optimization” by S Purandare, A Wasay, S Idreos. 这篇文章提到了现代 GPU 在开发神经网络时的严重未利用情况,并提到了一些优化技术。可以在这里[2]找到这篇文章。
在 PyTorch 中,AOTAutograd 的实现涉及到一些复杂的概念和技术。以下是一些关于 AOTAutograd 实现的资源:
-
PyTorch AOTAutograd: A pythonic extension point[3]:这是一个 YouTube 视频,讲解了如何使用这个扩展点来加速 PyTorch 模型。
-
TorchDynamo Update 6: Training support with AOTAutograd[4]:这是一个关于 TorchDynamo 项目的更新,该项目是一个 Python 级别的 JIT 编译器,设计用来使未修改的 PyTorch 模型更快。在这个更新中,他们讨论了如何使用 AOTAutograd 来支持训练。
-
AOT Autograd - How to use and optimize?[5]:这是一个教程,讲解了如何使用 AOT Autograd 来加速深度学习模型的训练。
-
PyTorch 2.0[6]:在这个页面中,他们讨论了 TorchInductor 的核心循环级别 IR 只包含大约 50 个操作符,并且它是用 Python 实现的,使得它容易被修改和扩展。他们还提到了如何使用 AOTAutograd 来重用现有的 autograd 图。
-
How does torch.compile work with autograd?[7]:在这个讨论中,他们提到了 AOTAutograd 是处理 torch.compile 运行时反向传播的主要组件。
二.PyTorch 中的 PrimTorch
在 PyTorch 中,PrimTorch 是一个重要的组件,它主要用于将 PyTorch 的操作符进行规范化。根据我找到的一篇文章,PrimTorch 可以将大约 2000 个 PyTorch 操作符规范化为一个封闭的集合。这样做的好处是可以简化 PyTorch 的操作符集合,使得在进行计算时更加高效。以下是一篇关于 PrimTorch 的论文:
- “MAP: Memory-aware Automated Intra-op Parallel Training For Foundation Models” by Y Liu, S Li, J Fang, Y Shao, B Yao, Y You. 这篇文章讨论了如何使用 PrimTorch 来提高模型训练的效率。可以在这里[8]找到这篇文章。
三.PyTorch 中的 TorchInductor
TorchInductor 是 PyTorch 2.0 中引入的一种优化编译器。它的设计目标是为了提高 PyTorch 在动态形状机器学习负载上的性能。以下是一些相关的学术论文和研究,可能会对你有所帮助:
-
TorchProbe: Fuzzing Dynamic Deep Learning Compilers[9]: 这篇论文讨论了 TorchInductor 在 CPU 后端上的表现,并提供了一些示例。
-
BladeDISC: Optimizing Dynamic Shape Machine Learning Workloads via Compiler Approach[10]: 这篇论文提到了 TorchInductor 在 HuggingFace 的 TensorFlow 和 PyTorch 实现中的应用。
-
PyTorch 2.0: The Journey to Bringing Compiler Technologies to the Core of PyTorch (Keynote)[11]: 这是一篇关于 PyTorch 2.0 的演讲稿,其中讨论了 TorchDynamo 和 TorchInductor 的设计。
-
A journey to enable generative AI on a new hardware platform with PyTorch 2.0[12]: 这篇文章分享了在新硬件平台上使用 PyTorch 2.0 启用生成 AI 的经验,其中讨论了 PyTorch 运行时和 TorchInductor 的一些特性。
最后
感谢你们的阅读和喜欢,我收藏了很多技术干货,可以共享给喜欢我文章的朋友们,如果你肯花时间沉下心去学习,它们一定能帮到你。
因为这个行业不同于其他行业,知识体系实在是过于庞大,知识更新也非常快。作为一个普通人,无法全部学完,所以我们在提升技术的时候,首先需要明确一个目标,然后制定好完整的计划,同时找到好的学习方法,这样才能更快的提升自己。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
五、面试资料
我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】