PyTorch 2.2重大升级：引入FlashAttention-2，性能暴增2倍！

【新智元导读】新的一年，PyTorch也迎来了重大更新，PyTorch 2.2集成了FlashAttention-2和AOTInductor等新特性，计算性能翻倍。

新的一年，PyTorch也迎来了重大更新！

继去年十月份的PyTorch大会发布了2.1版本之后，全世界各地的521位开发者贡献了3628个提交，由此形成了最新的PyTorch 2.2版本。

新的版本集成了FlashAttention-2，使得scaled_dot_product_attention （SDPA）相较于之前的版本有了约2倍的性能提升。

PyTorch 2.2还引入了一个新的TorchInductor提前扩展，称为 AOTInductor，旨在为非python服务器端编译和部署PyTorch程序。

PyTorch中的torch.distributed支持了一个叫做device_mesh的新抽象，用于初始化和表示ProcessGroups。

另外，PyTorch 2.2提供了一个标准化的、可配置的日志记录机制，——TORCH_LOGS。

PyTorch 2.2还对torch.compile做了许多改进，包括改进了对编译优化器的支持，以及TorchInductor融合和布局优化。