大模型论文 | 腾讯发布DRT-o1，引入长思维链，精准翻译文学作品-CSDN博客

本文链接：https://blog.csdn.net/m0_59614665/article/details/144971359

1. DRT-o1: Optimized Deep Reasoning Translation via Long Chain-of-Thought

近年来，O1模型成为展示长链思维（Chain-of-Thought, CoT）在数学和编程等推理任务中效果的典型代表。在此基础上，我们推出了DRT-o1，旨在将长CoT的优势引入神经机器翻译（Neural Machine Translation, NMT）。特别是对于文学作品中涉及的比喻和隐喻，由于文化差异的存在，将其准确翻译成目标语言是一项挑战。实际操作中，直译通常无法有效传达作者的意图，即便是专业翻译人员也需深思熟虑以确保语义的完整性和准确性。

为了模拟大语言模型（LLMs）的长思考过程，我们在NMT中引入了长CoT方法。首先，我们从现有文学作品中提取含有比喻或隐喻的句子，然后建立一个多代理框架，通过长思考过程来翻译这些句子。在这个框架内，翻译员依据建议者的指导反复改进源句的翻译，同时由评估员负责判断每一轮翻译的质量是否有所提高。通过这种方法，我们收集了数万条采用长思考过程的机器翻译数据，并用它们训练了DRT-o1模型。

实验结果显示，DRT-o1在文学翻译任务中表现优异。使用Qwen2.5-7B和Qwen2.5-14B作为基础模型时，DRT-o1实现了7.33至8.26个BLEU点和1.66至3.36个CometScore的显著提升。此外，DRT-o1-7B在BLEU分数上超越了QwQ-32B-Preview 7.82分，在CometScore上提升了1.46分，充分证明了其优势。

项目代码和资源可以在以下链接获取：https://github.com/krystalan/DRT-o1。
论文: https://arxiv.org/pdf/2412.17498

2. Offline Reinforcement Learning for LLM Multi-Step Reasoning

为了快速适应复杂的任务，提高大型语言模型（LLMs）的多步推理能力是非常重要的，而离线强化学习（RL）为这一目标提供了有效途径。虽然直接偏好优化（DPO）在使LLMs与人类偏好对齐方面表现出色，但它不太适合多步推理任务，因为：(1) DPO需要成对偏好数据，而这类数据在多步推理任务中难以获得；(2) 它对待所有Token相同，无法有效处理多步推理任务中的稀疏奖励问题，即信用分配问题。

在本研究中，我们提出了一种新的离线强化学习方法——OREO（Offline Reasoning Optimization，离线推理优化），以增强LLMs的多步推理能力。OREO借鉴了最大熵强化学习的研究成果，通过优化软贝尔曼方程来同时学习策略模型和价值函数。理论上，这种方法减少了对成对数据的需求，并改进了信用分配。实验结果表明，在多步推理基准测试中，包括数学推理任务（如GSM8K、MATH）和具身智能体控制（如ALFWorld），OREO的表现超过了现有的离线学习方法。如果有额外资源可用，OREO还可以扩展到多轮迭代框架。

论文: https://arxiv.org/pdf/2412.16145

3. Multi-LLM Text Summarization

在本本文中，我们提出了一种多语言模型（Multi-LLM）摘要生成框架，并探索了两种不同的多语言模型策略——集中式和分布式。该框架在每轮对话中有两个核心步骤：摘要生成和质量评估。具体操作取决于采用的是集中式还是分布式多语言模型。

无论是集中式还是分布式策略，我们都会利用k个不同的语言模型生成文本的多样化摘要。然而，在评估阶段，集中式多语言模型摘要方法通过单一语言模型对所有摘要进行评估并挑选最优摘要；而在分布式策略中，则由k个语言模型共同参与评估过程。

实验结果显示，与仅依赖单个语言模型的传统方法相比，我们的多语言模型摘要方法表现出了显著的优势，性能提升最高可达三倍。这表明，多语言模型方法在摘要任务上具有更高的效率和准确性。

论文: https://arxiv.org/pdf/2412.15487

4. IDOL: Instant Photorealistic 3D Human Creation from a Single Image

在这里插入图片描述

从单张图像创建高保真、可动画化的3D全身人像一直是一个极具挑战性的任务，主要原因在于人类外观和姿势的多样性以及高质量训练数据的稀缺性。为了实现快速且高质量的人体重建，本研究从数据集、模型架构和表示方式三个角度对该任务进行了重新思考。

我们首先推出了一个名为HuGe100K的大规模数据集，该数据集由10万组多样化且逼真的多视角人体图像组成，每组图像包含24个不同视角的帧，这些图像由一个姿态可控的图像到多视角生成模型生成。接着，我们利用HuGe100K中丰富的视角、姿势和外观变化，开发了一个可扩展的前馈Transformer模型，能够从单张人体图像预测出统一空间中的3D高斯人体表示。该模型通过训练可以分离出人体的姿态、体型、服装几何及纹理信息。预测出的高斯分布可以直接用于动画制作，无需额外的后处理步骤。

我们的实验验证了新数据集和方法的有效性。结果显示，我们的模型能够在单个GPU上即时从单张输入图像高效重建1K分辨率的逼真人体，并且无缝支持多种应用，如形状和纹理编辑等任务。