Large World Model ，LWM

这项研究为语言模型更好地理解物理世界铺平了道路。100万token，一次能分析1小时YouTube视频，「大世界模型」火了

到，前者可以处理的上下文窗口达百万级别，而后者生成的视频能够理解运动中的物理世界，被很多人称为「世界模型」。然而，这些刷屏无数的模型真的能很好的理解世界吗？我们就拿 Sora 来说，该模型在给大家带来惊叹的同时，却不能很好的模拟复杂场景的物理原理，如一位健身的男子倒着跑跑步机。

不仅 Sora，现如今大模型虽然发展迅速，然而其自身也存在缺点，比如在现实世界中不容易用语言描述的内容，模型理解起来非常困难，又比如这些模型难以处理复杂的长程任务。视频模型的出现在一定程度上缓解了这个问题，其能提供语言和静态图像中所缺少的时间信息，这种信息对 LLM 非常有价值。随着技术的进步，模型开始变得对文本知识和物理世界有了更好的理解，从而帮助人类。

然而，由于内存限制、计算复杂性和有限的数据集，从数百万个视频和语言序列的 token 中进行学习挑战巨大。

为了应对这些挑战，来自 UC 伯克利的研究者整理了一个包含各种视频和书籍的大型数据集，并且提出了大世界模型（ Large World Model ，LWM），利用 RingAttention 技术对长序列进行可扩展训练，逐渐将上下文大小从 4K 增加到 1M token。 

• 论文地址：https://arxiv.org/pdf/2402.08268.pdf

• 项目主页：https://github.com/LargeWorldModel/LWM?tab=readme-ov-file

• 论文标题：WORLD MOD