大世界模型 Large World Model（LWM）：开源界Gemini Pro

摘要：2024年2月，UC Berkeley开源了大世界模型（LWM），支持1M token（与Gemini1.5持平）、1h视频问答、及视频图片生成，相当于开源版Gemini1.5pro。

目录

一、前言

二、模型架构

三、核心技术

四、训练过程

五、效果与性能

六、验证

---

一、前言

目前，在paperswithcode网站研究趋势榜单中排名第一。

大世界模型（LWM）是一种通用的多模态自回归模型。它使用RingAttention在各种长视频和书籍的大型数据集上进行训练，可以执行语言，图像和视频理解和生成。

大世界模型（LWM）具备的能力：

1. LWM可以与图像聊天。
2. LWM可以跨1M上下文检索事实，具有高准确性。
3. LWM可以在1小时的YouTube视频上回答问题。
4. LWM可以从文本生成视频和图像。

图像问答是大部分商业和开源VLM（Vison-Language Model）模型的通用能力，如GPT-4V、Qwen-VL。1M的上下文窗口目前与与Gemini1.5持平，超越了大部分VLM，也为视频类理解和生成能力的融入铺平道路。同时，能做到在长视频上的问答、并具备图像和视频的生成，可以说UC伯克利的这项工作直接与VLM统一架构标杆的商用产品谷歌Gemini对标，并且开源。

二、模型架构

LLaMA和RingAttention。LWM采用具有高达1M tokens上下文序列的自回归transformer模型架构，基于Llama2-7B和RingAttention。

VQGAN和BPE编码器。图片和视频帧采用VQGAN编码为视觉tokens（对于图片，将256x256输入图像转换16x16=256个tokens。对于视频，通过每帧应用VQGAN并将代码连接在一起），与经过BPE编码后的文本tokens结合，统一送入LWM中，自回归方式进行token预测支持理解和生成任务。

Any-to-Any多模态任务训练。该模型基本上是使用多种模态以任意对任意（any-to-any）的方式进行训练的。输入和输出tokens的顺序反映了不同的训练数据格式，包括图像-文本、文本-图像、视频问答、文本-视频和纯文本问答等