大模型论文 | NVIDIA开源世界基础模型Cosmos平台，构建理解真实世界的LLM，探索无限可能

最新推荐文章于 2025-01-17 20:08:43 发布

大模型RAG实战

最新推荐文章于 2025-01-17 20:08:43 发布

阅读量1.2k

点赞数 19

文章标签：人工智能大模型 AI大模型 LLM ai

本文链接：https://blog.csdn.net/m0_59614665/article/details/145029856

版权

1. Cosmos World Foundation Model Platform for Physical AI

在这里插入图片描述

为了让物理AI能够在现实世界中有效运作，它首先需要在一个数字化的环境中接受训练。这就要求拥有其自身的数字孪生体——即策略模型，以及对现实世界的数字映射——即世界模型。在本论文中，我们推出了Cosmos世界基础模型平台，这个平台旨在协助开发者为他们的物理AI系统建立定制化的世界模型。

我们认为，世界基础模型作为一个多功能的世界模拟工具，可以通过微调适应不同应用场景，转化为特定的定制化世界模型。Cosmos平台提供了一整套解决方案，包括视频编辑流程、预训练的基础世界模型、这些预训练模型的后训练实例，以及专门处理视频数据的分词技术。

为了助力物理AI开发者应对当今社会的重大挑战，我们决定将Cosmos平台开源，并开放模型权重。所有资源都可以通过访问我们的GitHub页面 https://github.com/NVIDIA/Cosmos。

论文: https://arxiv.org/pdf/2501.03575

2. LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

在这里插入图片描述

随着像GPT-4o这样的实时多模态模型（LMMs）的到来，人们对提高LMM效率的兴趣大增。在这些框架中，视觉输入被转换成视觉Token，然后与文本指令一同整合到大语言模型（LLMs）中。但是，由于LLMs拥有大量的参数及上下文中的众多Token，这造成了相当大的计算负担。之前针对提高LMM效率的工作大多关注于用更小的模型替代LLM的核心部分，却未充分重视Token数量的问题。

在本文中，我们提出了LLaVA-Mini，这是一个高效的LMM，其特色在于使用的视觉Token极少。为了在不损失视觉信息的前提下实现视觉Token的高比率压缩，我们研究了LMM如何解读视觉Token，并发现大部分视觉Token的作用主要体现在LLM核心结构的前几层，其中它们的任务是将视觉信息融合进文本Token。根据这个发现，LLaVA-Mini采用了模态预融合的方法，在早期阶段就把视觉信息注入文本Token，因此大幅减少了送入LLM核心的视觉Token数量，最终只保留一个视觉Token。

LLaVA-Mini是一个集成的多模态模型，它可以高效地处理图像、高清图像和视频内容。通过跨11项图像基准和7项视频基准的实验，LLaVA-Mini仅用1个视觉Token代替原先的576个，就实现了对LLaVA-v1.5的性能超越。效率分析指出，LLaVA-Mini能减少77%的浮点运算量（FLOPs），确保响应时间不超过40毫秒，并且能够在配备24GB内存的GPU上处理超过一万帧的视频数据。

论文: https://arxiv.org/pdf/2501.03895

3. PPTAgent: Generating and Evaluating Presentations Beyond Text-to-Slides

在这里插入图片描述

自动生成PPT是一个具有挑战性的任务，它要求在内容质量、视觉设计和结构连贯性三者之间找到完美的平衡。当前的方法多集中于单方面提升内容质量，而往往忽视了视觉设计和结构连贯性的重要性，从而限制了其实用性。为解决这些问题，我们开发了PPTAgent，这是一个模拟人类工作流程的创新工具，采用两阶段编辑法全面增强PPT生成效果。

PPTAgent的工作原理是先通过分析参考PPT来学习结构模式和内容布局，再利用代码操作创建初步的大纲和幻灯片内容，确保整体的一致性和协调性。为了全面衡量生成PPT的质量，我们还构建了PPTEval评估框架，该框架从内容质量、视觉设计和结构连贯性三个方面进行综合打分。实验结果显示，无论是在内容、设计还是连贯性上，PPTAgent的表现均明显优于传统自动PPT生成方式。

代码和数据集可以在 https://github.com/icip-cas/PPTAgent 获取。

论文: https://arxiv.org/pdf/2501.03936

4. Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model

在这里插入图片描述

基于人类反馈的强化学习（RLHF）已被广泛应用以调整语言模型（LMs）与人类偏好的一致性。传统的RLHF工作通常采用多臂赌博机的形式，尽管这种方式直观易懂，但它忽视了语言模型生成过程中的序列特性，并且容易受到稀疏奖励问题的影响。而最近提出的密集型token级别RLHF，则可能因为将每个token都视作独立的动作而导致奖励分配过于细腻，不便于有效实施。

在本文中，我们旨在取两者之长，提出了一种新的方法，即训练并应用段落级别的奖励模型。该模型针对每个语义完整的文本段落——由一系列简短的token序列构成——给予奖励。在奖励学习方面，我们的方法支持动态文本分割，并能与标准序列偏好数据集相兼容。为了更有效地根据段落奖励训练语言模型，我们将经典标量多臂赌博机奖励归一化器扩展为位置感知的归一化函数，并对段落奖励进行插值处理以增强其密集度。