Llama 3 模型上下文长度扩展至1048K

AI苏妲己：

Gradient AI 近日宣布，通过其创新的渐进式训练方法，成功将 Llama 3 系列模型的上下文长度扩展至超过100万令牌。

Llama 3 模型最初设计用于处理8000个令牌的上下文长度，这大约相当于6000字或10页文档。为了适应更长的上下文使用场景，Gradient AI 采用了渐进式训练方法， 使模型逐步适应更长的文本序列。 这种训练策略不仅提高了模型的稳定性和效率，还允许模型在一个任务中考虑更多的信息，从而提高了理解和生成文本的精确度和相关性。

在技术实现上，Gradient AI 采用了多项创新技术，包括 RingAttention 库和 EasyContext Blockwise 技术，这些技术优化了注意力机制的计算，使得模型能够高效地处理长序列。此外，通过 NTK-aware 插值和缩放法则，模型的参数得到了优化，以适应不同长度的文本处理。

在训练过程中，Gradient AI 使用了大规模图像-文本配对数据集和纯文本数据集，并通过数据增强策略来提高模型的适应性和鲁棒性。模型的训练在 Crusoe Energy 的高性能 L40S 集群上进行，该集群配备了先进的 GPU 和高速网络连接，以支持大规模并行处理。

这一技术突破为长文本处理提供了新的解决方案，预示着人工智能在未来处理复杂信息任务中将发挥更大的作用。

Llama-3-70B-Instruct-Gradient-1048k：

https://huggingface.co/gradientai/Llama-3-70B-Instruct-Gradient-1048k