Cosmos - 世界模型开发平台

---

一、关于 Cosmos

NVIDIA Cosmos是开发者第一的世界基础模型平台，旨在帮助物理AI开发者更好、更快地构建他们的物理AI系统。宇宙包含

1. 预训练模型，可通过拥抱脸下的 NVIDIA开放模型许可证 获得，允许免费将模型用于商业用途
2. 通过Apache 2许可证提供的 NVIDIA Nemo 框架 下的训练脚本，用于对各种下游物理AI应用程序的模型进行后期训练

该平台的详细信息在Cosmos论文中进行了描述。build.nvidia.com提供预览访问。

• github : https://github.com/NVIDIA/Cosmos
• 网站|HuggingFace|无GPU预览|Paper|Paper 网站

---

主要特点

• 预训练的基于扩散的世界基础模型，用于Text2World和Video2World生成，用户可以根据文本提示和视频提示生成视觉模拟。
• 预训练Autoregressive-based世界基础模型，用于Video2World生成，用户可以根据视频提示和可选文本提示生成视觉模拟。
• 视频标记器，用于高效地将视频标记为连续标记（潜在向量）和离散标记（整数）。
• 用于构建您自己的视频数据集的视频管理管道。[即将推出]
• 后训练脚本通过NeMo框架对预训练的世界基础模型进行后训练，用于各种物理AI设置。
• 通过NeMo框架预训练脚本，用于构建您自己的世界基础模型。[Diffusion] [Autoregressive] [Tokenizer]。

---

模型家族

Model name	Description	Try it out
Cosmos-1.0-Diffusion-7B-Text2World	Text to visual world generation	Inference
Cosmos-1.0-Diffusion-14B-Text2World	Text to visual world generation	Inference
Cosmos-1.0-Diffusion-7B-Video2World	Video + Text based future visual world generation	Inference
Cosmos-1.0-Diffusion-14B-Video2World	Video + Text based future visual world generation	Inference
Cosmos-1.0-Autoregressive-4B	Future visual world generation	Inference
Cosmos-1.0-Autoregressive-12B	Future visual world generation	Inference
Cosmos-1.0-Autoregressive-5B-Video2World	Video + Text based future visual world generation	Inference
Cosmos-1.0-Autoregressive-13B-Video2World	Video + Text based future visual world generation	Inference
Cosmos-1.0-Guardrail	Guardrail contains pre-Guard and post-Guard for safe use	Embedded in model inference scripts

---

二、使用示例

1、推理

遵循 Cosmos Installation Guide 设置docker。关于预训练模型的推理，请参考 Cosmos Diffusion Inference以及 Cosmos Autoregressive Inference.

下面的代码片段提供了推理用法的要点。

PROMPT="A sleek, humanoid robot stands in a vast warehouse filled with neatly stacked cardboard boxes on industrial shelves. \
The robot's metallic body gleams under the bright, even lighting, highlighting its futuristic design and intricate joints. \
A glowing blue light emanates from its chest, adding a touch of advanced technology. The background is dominated by rows of boxes, \
suggesting a highly organized storage system. The floor is lined with wooden pallets, enhancing the industrial setting. \
The camera remains static, capturing the robot's poised stance amidst the orderly environment, with a shallow depth of \
field that keeps the focus on the robot while subtly blurring the background for a cinematic effect."

# Example using 7B model
PYTHONPATH=$(pwd) python cosmos1/models/diffusion/inference/text2world.py \
    --checkpoint_dir checkpoints \
    --diffusion_transformer_dir Cosmos-1.0-Diffusion-7B-Text2World \
    --prompt "$PROMPT" \
    --offload_prompt_upsampler \
    --video_save_name Cosmos-1.0-Diffusion-7B-Text2World

---

text2world_example.mp4

---

Nvidia 还提供多GPU的推理支持扩散Text2World WFM模型通过NeMo框架。

---

2、后训练

NeMo框架为GPU加速后训练提供了扩散和自回归模型的一般后训练，其他类型的后训练即将推出。

---

许可证和联系方式

本项目将下载并安装额外的第三方开源软件项目。在使用前查看这些开源项目的许可条款。

NVIDIA Cosmos源代码根据Apache 2许可证发布。

NVIDIA Cosmos 模型根据NVIDIA开放模型许可证发布。如需自定义许可证，请联系cosmos-license@nvidia.com。

---

2025-01-29(三)