Qwen2.5-Coder技术报告

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain

Qwen2.5-Coder Technical Report

【要点】：本文介绍了Qwen2.5-Coder系列，一种在CodeQwen1.5基础上显著升级的代码专用模型，实现了超过10个代码相关任务的SOTA性能，并具有通用性。
【方法】：Qwen2.5-Coder基于Qwen2.5架构，并通过数据清洗、可扩展的合成数据生成和数据平衡混合，提升了代码生成能力。
【实验】：作者在超过5.5万亿标记的大规模语料上对Qwen2.5-Coder进行了预训练，并在多个代码相关任务上进行了评估，使用的数据集未在摘要中明确提及，实验结果显示该模型在代码生成、补全、推理和修复等多个任务上均达到了SOTA性能。
【链接】：https://www.aminer.cn/pub/66eb89e801d2a3fbfcea7207

SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models

【要点】：本文提出了一种名为SVDQuant的4-bit量化新范式，通过低秩分支吸收异常值，以加速扩散模型并保持图像质量，同时设计了一个推理引擎Nunchaku来融合低秩分支和低比特分支的内核，减少内存访问，提高效率。
【方法】：作者通过将激活值的异常值转移到权重，并使用奇异值分解（SVD）的高精度低秩分支来吸收权重异常值，从而缓解了量化两端的压力。
【实验】：在SDXL、PixArt-Σ和FLUX.1数据集上进行的广泛实验验证了SVDQuant在保持图像质量方面的有效性。对于12B的FLUX.1模型，减少了3.5倍的内存使用，并在16GB laptop 4090 GPU上实现了比4-bit仅权重量化的基线快3.0倍的速度提升。
【链接】：https://www.aminer.cn/pub/672d800601d2a3fbfc492f8f

Taming Rectified Flow for Inversion and Editing

【要点】：本文提出RF-Solver和RF-Edit，通过精确求解和编辑改进了Rectified-flow-based扩散变换器的图像和视频生成与编辑性能，特别是在提高 inversion 精度方面具有创新。
【方法】：研究通过推导 rectified flow 常微分方程的精确公式，并进行高阶泰勒展开估计非线性部分，以减少每一步的近似误差。
【实验】：本文在多个任务上进行了实验验证，包括文本到图像生成、图像视频 inversion 和图像视频编辑，使用了标准的文本到图像数据集和图像视频编辑数据集，实验结果表明方法的有效性和适应性。具体数据集名称未在摘要中明确提及，但代码已公开于指定GitHub仓库。
【链接】：https://www.aminer.cn/pub/672d7fd301d2a3fbfc48f622

SAMPart3D: Segment Any Part in 3D Objects

【要点】：本文提出SAMPart3D，一种无需预设部分标签集即可对3D对象进行多粒度语义部分分割的可扩展零样本3D部分分割框架。
【方法】：使用文本无关的视觉基础模型进行3D特征提取，并蒸馏出尺度条件下的部分感知3D特征，结合视觉语言模型进行语义标签分配。
【实验】：在Objaverse数据集上进行实验，结果显示SAMPart3D显著优于现有零样本3D部分分割方法，并贡献了一个新的3D部分分割基准。
【链接】：https://www.aminer.cn/pub/6732e45b01d2a3fbfc381f09

FinanceBench: A New Benchmark for Financial Question Answering

【要点】：本文介绍了FinanceBench，一个用于评估大型语言模型在开卷金融问答性能的新型基准测试套件，其包含关于上市公司的10,231个问题及对应的答案和证据字符串，这些问题具有生态有效性并覆盖了多样的场景。研究测试了16种最先进的模型配置，在FinanceBench的一个150个案例样本上，并手动审查了它们的答案，发现现有的大型语言模型在金融问答方面存在明显局限。
【方法】：研究采用了手动审查的方法，对16种最先进的模型配置（包括GPT-4-Turbo、Llama2和Claude2等）在FinanceBench的一个150个案例样本上的表现进行了评估。
【实验】：实验结果显示，现有的LLM在金融问答方面存在明显局限，比如GPT-4-Turbo结合检索系统时，错误回答或拒绝回答了81%的问题。增加上下文窗口长度以引入相关证据等增强技术虽然能提升性能，但在企业环境中由于延迟增加而不切实际，并且无法支持更大量的金融文档。研究发现所有评估的模型都存在弱点，如虚构信息，这限制了它们在企业中的适用性。数据集名称为FinanceBench。
【链接】：https://www.aminer.cn/pub/655c1ad7939a5f4082c5e516