简单、高效！REINFORCE++，比PPO快，比GRPO稳

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain

REINFORCE++: A Simple and Efficient Approach for Aligning Large Language Models

【要点】：本文提出REINFORCE++算法，它是一种改进的REINFORCE算法，通过融入PPO算法的关键优化技术并去除评判网络的需求，实现了算法的简化、训练稳定性提高以及计算开销降低。
【方法】：REINFORCE++算法在传统的REINFORCE算法基础上，采用了PPO算法的优化技术，但不使用评判网络。
【实验】：通过广泛的实证评估，使用未具体提及的数据集，REINFORCE++算法在稳定性上优于GRPO，并且在保持与PPO相当性能的同时，实现了更高的计算效率。
【链接】：https://www.aminer.cn/pub/677de6deae8580e7ff387e6d

Cosmos World Foundation Model Platform for Physical AI

【要点】：本文介绍了Cosmos World Foundation Model Platform，一种开放源代码的通用世界模型平台，旨在帮助开发者为其物理AI系统构建定制化的世界模型，解决社会关键问题。
【方法】：平台包括视频编辑流程、预训练的世界基础模型、预训练模型的后训练示例以及视频分词器，提供了一套完整的工具和方法来构建和微调世界模型。
【实验】：论文未具体描述实验过程，但提供了通过GitHub（https://github.com/NVIDIA/Cosmos）开放的预训练模型和工具，以便开发者使用和微调。未提及具体的数据集名称。
【链接】：https://www.aminer.cn/pub/677de685ae8580e7ff3588ee

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

【要点】：本文提出了一种高效的大型多模态模型LLaVA-Mini，通过将视觉信息预融合到文本信息中，将视觉令牌数量压缩至一个，显著降低计算负担。
【方法】：LLaVA-Mini采用模态预融合技术，将视觉信息提前融合到文本令牌中，从而实现视觉令牌数量的极度压缩。
【实验】：作者在11个基于图像和7个基于视频的基准测试上验证了LLaVA-Mini的性能，结果表明LLaVA-Mini仅使用1个视觉令牌即可超越使用576个视觉令牌的LLaVA-v1.5。效率分析显示，LLaVA-Mini在24GB显存的GPU硬件上处理10,000帧视频时，可以减少77%的浮点运算数(FLOPs)。
【链接】：https://www.aminer.cn/pub/677de5a6ae8580e7ff2e2906

MotionBench: Benchmarking and Improving Fine-grained Video Motion Understanding for Vision Language Models

【要点】：本文提出了MotionBench，一个专门用于评估视频理解模型在细粒度动作理解上的性能的全面评价基准，并通过实验指出现有视觉语言模型在细粒度动作理解上的不足，同时提出了一种提高模型性能的Through-Encoder (TE) Fusion方法。
【方法】：作者通过设计六种主要针对运动类型的问题来评估模型在动作层面的感知能力，并对现有的视觉语言模型架构进行优化，提出了TE Fusion方法来增强模型对细粒度动作的理解能力。
【实验】：实验使用了MotionBench数据集，实验结果表明提高输入帧率和采用TE Fusion方法能够提升模型对动作的理解，但仍有改进空间。
【链接】：https://www.aminer.cn/pub/677c9894ae8580e7ff366faf

Sa2VA: Marrying SAM2 with LLaVA for Dense Grounded Understanding of Images and Videos

【要点】：本研究提出了Sa2VA，一种首个用于密集型图像和视频 grounded 理解的统一模型，通过结合SAM-2和LLaVA，实现了对多种模态和任务的广泛支持。
【方法】：Sa2VA通过将SAM-2与LLaVA结合，统一了文本、图像和视频到共享的LLM token空间，并使用LLM生成指导SAM-2产生精确遮罩的指令token。
【实验】：研究使用了Ref-SAV数据集，包含超过72k个复杂视频场景中的对象表达，实验结果表明Sa2VA在多个任务上达到了最新技术水平，特别是在复杂环境中的视频对象分割任务上。
【链接】：https://www.aminer.cn/pub/677de592ae8580e7ff2d88d5