【论文日报】LLM合集：腾讯推出AlphaLLM-CPL，采用蒙特卡洛树搜索提升LLM的推理能力_towards self-improvement of llms via mcts: leverag-CSDN博客

本文链接：https://blog.csdn.net/m0_59164304/article/details/142990294

1. Towards Self-Improvement of LLMs via MCTS: Leveraging Stepwise Knowledge with Curriculum Preference Learning

在这里插入图片描述

蒙特卡洛树搜索（MCTS）近年来已成为增强大语言模型（LLM）推理能力的强大技术。诸如SFT或DPO等技术使LLM能够从MCTS中提炼出高质量的行为，从而提高其推理性能。然而，现有的提炼方法未能充分利用MCTS生成的丰富轨迹信息，限制了LLM推理性能提升的潜力。在本文中，我们提出了AlphaLLM-CPL，这是一种新的训练框架，使LLM能够通过MCTS行为提炼自我提升。AlphaLLM-CPL通过两项关键高效利用MCTS轨迹：（1）AlphaLLM-CPL从搜索树中具有相同父节点的子节点构建逐步轨迹对，提供逐步信息，以更有效地进行MCTS行为提炼。（2）AlphaLLM-CPL引入了课程偏好学习，动态调整每个离线训练周期内的轨迹对训练序列，以优先考虑关键学习步骤，从而减轻过拟合。通过实验结果在数学推理任务上的表现，AlphaLLM-CPL显著优于之前的MCTS行为提炼方法，显著提升了LLM的推理能力。

论文: https://arxiv.org/pdf/2410.06508

2. Progressive Autoregressive Video Diffusion Models

在这里插入图片描述

当前的视频扩散模型已经在生成高质量视频方面展示了显著的成果。然而，由于训练过程中计算能力的限制，它们只能生成短视频片段，通常约为10秒或240帧。在本文中，我们提出了现有的模型可以自然地扩展为自回归视频扩散模型，而无需改变架构。我们的关键想法是给潜帧分配逐渐增加的噪声水平，而不是单一的噪声水平，这允许潜帧之间具有精细的条件并且注意力窗口之间具有较大的重叠。这种逐步的视频去噪使我们的模型能够自回归地生成视频帧而不会出现质量下降或场景突变。我们在一分钟（1440帧，24 FPS）的长视频生成上取得了最先进的效果。本文的视频可在https://desaixie.github.io/pa-vdm/ 查看。

论文: https://arxiv.org/pdf/2410.08151

3. Preserving Multi-Modal Capabilities of Pre-trained VLMs for Improving Vision-Linguistic Compositionality

在这里插入图片描述

在本文中，我们提出了一种新的方法，可以在不牺牲预训练视觉和语言模型（VLMs）在零样本多模态任务中的性能的前提下，增强组成理解。传统的微调方法通常通过使用全局负样本（HN）损失来提高组成推理能力，但会损害多模态能力，主要是因为全局HN损失对比了图像和文本的全局表示，导致与原始文本高度相似的HN文本被推远。为解决这一问题，我们提出了细粒度选择校准CLIP（FSC-CLIP），它结合了局部负样本损失和选择性校准正则化，以提供细粒度的负样本监督，同时保持了模型的表示完整性。我们在多个基准测试中进行了广泛的评估，表明FSC-CLIP不仅在组成性方面与最先进的模型相当，而且还能保留强大的多模态能力。代码可在以下链接获取：https://github.com/ytaek-oh/fsc-clip。

论文: https://arxiv.org/pdf/2410.05210

4. GLOV: Guided Large Language Models as Implicit Optimizers for Vision Language Models

在这里插入图片描述

在本文中，我们提出了一种新的方法（GLOV），使大型语言模型（LLMs）能够作为视觉语言模型（VLMs）的隐式优化器，以增强下游视觉任务。我们的GLOV元提示向LLM提供下游任务描述，并查询其生成适合的VLM提示（例如，对于带有CLIP的零-shot分类）。这些提示根据通过适应度函数获得的纯度度量进行排名。在每次优化步骤中，排名靠前的提示作为上下文示例（带有其准确率）输入LLM，使LLM具备下游VLM偏好类型文本提示的知识。此外，我们还在每次优化步骤中明确引导LLM生成过程，通过在网络的中间层添加来自LLM在前一优化步骤中找到的正负解的嵌入的偏移差向量，为下一生成步骤提供指导。这个偏移向量引导LLM生成向下游VLM偏好语言类型的方向，从而提高下游视觉任务的性能。我们使用两种家族的VLMs，即双编码器（例如，CLIP）和编码器-解码器（例如，LLaVa）模型，在16个不同的数据集上全面评估了我们的GLOV，结果显示发现的解决方案可以将这些模型的识别性能提高多达15.0%和57.5%（平均提高3.8%和21.6%）。

论文: https://arxiv.org/pdf/2410.06154

5. SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe

在这里插入图片描述

以往旨在提高指令调优性能的工作通常强调需要高质量的监督微调（SFT）数据集，这通常涉及使用专有LLMs进行昂贵的数据筛选或由人类注释者进行劳动密集型的数据生成。然而，这些方法并未充分利用数据集的内在属性，导致高计算和劳动成本，从而限制了可扩展性和性能提升。在本文中，我们提出了SFTMix，一种新的方法，可以在无需精心策划的数据集的情况下提升指令调优性能，超越传统的NTP范式。观察到LLMs在语义表示空间中表现出不均匀的置信度，我们认为不同置信度级别的示例在指令调优过程中应发挥不同的作用。基于这一发现，SFTMix利用训练动态来识别不同置信度级别的示例，然后应用基于Mixup的正则化来减轻对置信度高的示例的过度拟合，同时传播监督信号以改善对置信度较低的示例的学习。这种方法使SFTMix能够在广泛范围的指令遵循和医疗保健领域特定的SFT任务中显著超越NTP，证明了其对不同LLM家族的适应性和对任何大小数据集的可扩展性。全面的消融实验进一步验证了SFTMix设计选择的稳健性，突显了其在不同LLM和数据集中的广泛应用中持续提升性能的灵活性和多样性。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述