1. PyTorch创始人:Transformer的流行可能是一把双刃剑
要说 Transformer 有多厉害,比如 OpenAI 重磅推出的 GPT-3,就是基于 Transformer 实现的。至于传播速度方面,短短 5 年,Transformer 便在 TensorFlow 、PyTorch 等主流深度学习框架支持的 AI 程序中占据一席之地。
不过与高调宣传 Transformer 的学者不同,这次 PyTorch 创始人、Meta 杰出工程师 Soumith Chintala 却唱起了反调,并警告说,Transformer 如此流行,可能是一把双刃剑。
链接:https://mp.weixin.qq.com/s/ZgdP3HFM4jZsWZfJvciQ3A
2. MAIProf:Meta生产PyTorch模型的性能调试工具
PyTorch在生产环境中的性能调优越来越重要。一个功能强大的性能调试工具是这个过程的关键。通过一个关于生产模型的案例研究,PyTorch证明MAIProf是一个用于识别优化机会的强大AI性能调试基础架构。
在Meta,从性能调试新手到专家的100多名工程师使用MAIProf来识别更多类型的瓶颈。其中包括缓慢的数据加载、分布式训练问题(例如负载不平衡和过度通信)。MAIPprof涵盖了包括推荐、视觉和自然语言处理等主要类别模型。总之,它现在是生产PyTorch工作负载时调试性能的不可或缺的工具。
链接:https://pytorch.org/blog/performance-debugging-of-production-pytorch-models-at-meta/?utm_source=organic_social&utm_medium=linkedin&utm_campaign=performance_debugging
3. 精度、耗时、显存消耗、网络结构...一行代码深度解析训练性能指标