【论文日报】LLM合集：百度推出集体蒙特卡洛树CoMCTS推理框架，打造具备逐步推理能力的MLLM

本文链接：https://blog.csdn.net/Python_cocola/article/details/144834699

1. Mulberry: Empowering MLLM with o1-like Reasoning and Reflection via Collective Monte Carlo Tree Search

在本文中，我们开发了一个MLLM，使其能够通过学习生成推理过程中的每一个中间步骤来理解和回答问题，直到最终答案。为此，我们提出了集体蒙特卡洛树搜索（CoMCTS），这是一种新的MLLM推理学习方法，它将集体学习的概念提出“树搜索”，以实现有效的推理路径搜索和学习。CoMCTS的核心思想是利用多个模型的集体知识，通过四次迭代操作（扩展、模拟、错误定位、反向传播和选择）协同猜测、搜索和识别通向正确答案的有效推理路径。使用CoMCTS，我们构建了Mulberry-260k，这是一个多模态数据集，其中每个问题都有一个丰富的、明确且定义良好的推理节点树。借助Mulberry-260k，我们进行了集体的自监督训练（SFT），训练出了Mulberry这一系列具有类似o1的逐步推理和反思能力的MLLM。实验结果表明，我们提出的方法在各种基准测试中具有优越性。代码将在https://github.com/HJYao00/Mulberry 。🎉【文末福利送书】🎉

论文: https://arxiv.org/pdf/2412.18319

2. Token-Budget-Aware LLM Reasoning

推理对于大型语言模型（LLMs）在广泛任务上的表现至关重要。虽然像链式思考（CoT）推理这样的方法通过将问题分解成中间步骤来提升大型语言模型（LLMs）的表现，但也导致了显著的Token使用量增加，从而增加了成本。我们发现当前的大型语言模型（LLMs）的推理过程过于冗长，可以通过在提示中包含合理的Token预算来压缩推理过程，但Token的选择在实际压缩效果中起着关键作用。我们随后提出了一种Token预算意识的大型语言模型（LLMs）推理框架，该框架根据推理复杂度动态估计不同问题所需的Token预算，并使用估计的Token预算来指导推理。实验表明，我们的方法在CoT推理中仅轻微降低性能的情况下有效减少了Token成本，提供了一种平衡大型语言模型（LLMs）推理效率和准确性的实用解决方案。代码：https://github.com/GeniusHTX/TALE。

论文: https://arxiv.org/pdf/2412.18547

3. Video-Panda: Parameter-efficient Alignment for Encoder-free Video-Language Models

我们提出了一种高效的无需编码器的方法，用于视频-语言理解，该方法显著减少了计算开销。当前的视频-语言模型通常依赖于图像编码器（300M-1.1B 参数）或视频编码器（1B-1.4B 参数），这在处理多帧视频时会带来巨大的计算负担。我们的方法提出了一种新的空间-时间对齐块（STAB），可以直接处理视频输入，无需预先训练的编码器，同时仅使用45M 参数进行视觉处理——与传统方法相比至少减少了6.5倍。STAB 架构结合了局部空间-时间编码以进行细粒度特征提取，通过学习的注意力机制进行有效的空间下采样，并分别用于建模帧级和视频级关系。我们的模型在标准基准上实现了与基于编码器方法相当或更优的开放性视频问答效果。精细粒度的视频问答评估显示了我们模型的有效性，在正确性和时间理解方面超越了基于编码器的方法Video-ChatGPT和Video-LLaVA。广泛的消融研究证实了我们的架构选择，并展示了我们空间-时间建模方法的有效性，同时实现了比之前方法快3-4倍的处理速度。代码可在https://github.com/jh-yi/Video-Panda 获取。

论文: https://arxiv.org/pdf/2412.18609

4. PepTune: De Novo Generation of Therapeutic Peptides with Multi-Objective-Guided Discrete Diffusion

肽治疗药物是一类重要的药物类别，已经在糖尿病和癌症等疾病中取得了显著的成功，例如GLP-1受体激动剂已经彻底改变了2型糖尿病和肥胖症的治疗方法。尽管取得了成功，但设计同时满足多个相互矛盾的目标（如靶点结合亲和力、溶解性和膜渗透性）的肽仍然是一项重大挑战。传统的药物开发和基于结构的设计对于此类任务无效，因为它们无法优化对于治疗效果至关重要的全局功能特性。现有的生成框架大多局限于连续空间、无条件输出或单目标指导，使其不适合在多个属性上的离散序列优化。为了解决这个问题，我们提出了PepTune，这是一种基于多目标离散扩散模型，用于同时生成和优化治疗肽的SMILES。PepTune基于掩码离散语言模型框架，通过状态依赖的掩码调度和基于惩罚的目标确保有效的肽结构。为了指导扩散过程，我们提出了一种基于蒙特卡洛树搜索（MCTS）的策略，该策略平衡探索和利用，以逐步细化帕累托最优序列。MCTS将分类器基于的奖励与搜索树扩展相结合，克服了离散空间中的梯度估计挑战和数据稀疏性。使用PepTune，我们生成了多种多样、化学修饰的肽，优化了多个治疗特性，包括靶点结合亲和力、膜渗透性、溶解性、溶血性和对各种疾病相关目标的非附着特性。总的来说，我们的结果表明，MCTS引导的离散扩散是一种强大且模块化的多目标序列设计方法，在离散状态空间中。

论文: https://arxiv.org/pdf/2412.17780

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述