Megatron-LM1：Reducing Activation Recomputation in Large Transformer Models

激活重计算：不保存激活，而在BP传播过程中，重新计算来突破内存受限的限制。

1. 优点：减小内存

2. 缺点：增加计算

3. 即时间换空间。
   那有没有非法elminae 重计算

4. sequnce parallelism 和 选择性地激活重计算。