【NLP】LLM 中 100K 上下文窗口背后的秘密：所有技巧都集中在一处

加速 LLM 训练和推理的技术，在训练和推理期间使用高达 100K 输入标记的大型上下文窗口：ALiBi 位置嵌入、稀疏注意力、FlashAttention、多查询注意力、条件计算和 80GB A100 GPU。

最近有几项关于新的大型语言模型 (LLM) 的公告，它可以消耗极大的上下文窗口，例如65K toke MosaicML 的（MosaicML 的MPT-7B-StoryWriter-65k+ ）甚至 100K token