Megatron-LM 最新 release 的版本是 23.06:
相比之前的版本,有几个比较重大的更新,如下:
- 增加了对 Rotary Positional Embedding 的支持。
- 增加了对 FlashAttention v1 和 v2 的支持。
- 在Zero并行的情况下(distributed-optimizer),增加了一些新的细粒度 partial checkpointing 的技术。
- 修复了模型的 Checkpoint 保存/加载相关的问题。
- Megatron-LM 中的 GPT 模型的