LongAlign: A Recipe for Long Context Alignment of Large Language Models

最新推荐文章于 2025-06-12 16:50:08 发布
最新推荐文章于 2025-06-12 16:50:08 发布
阅读量222 收藏
点赞数
分类专栏： Survey Paper LLM context 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/136498435
版权
本文介绍LongAlign，一种针对大型语言模型的长上下文对齐方案。通过Self instruction构建长指令数据集，采用打包和排序分批策略加速微调，并提出损失加权方法。实验显示，LongAlign在长上下文任务中性能提升30%，同时保持处理短任务的能力。LongBench Chat基准用于长上下文交互评估，所有资源已开源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《LongAlign: A Recipe for Long Context Alignment of Large Language Models》的翻译。

LongAlign：大型语言模型的长上下文对齐方法

摘要

扩展大型语言模型以有效处理长上下文需要对类似长度的输入序列进行指令微调。为了解决这个问题，我们提出了LongAlign——一个用于长上下文对齐的指令数据、训练和评估的配方。首先，我们使用Self instruction构建了一个长指令跟随数据集。为了确保数据的多样性，它涵盖了来自各种长上下文来源的广泛任务。其次，我们采用打包和排序分批策略来加快对具有不同长度分布的数据的监督微调。此外，我们开发了一种损失加权方法，以平衡打包训练过程中不同序列的损失。第三，我们介绍了LongBench聊天基准，用于评估长度为10k-100k的查询的指令跟随能力。实验表明，LongAlign在长上下文任务中比现有的LLM配方高出30%，同时也保持了它们处理短通用任务的熟练度。代码、数据和长期模型都是开源的，位于https://github.com/THUDM/LongAlign.

1 引言

2 相关工作

3 LongAlign

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LongAlign: A Recipe for Long Context Alignment of Large Language Model
步子哥的博客
02-01 671
- 在ChatGLM3-6B-64k模型上，通过不同的长指令数据集（LongAlign-0k, LongAlign-5k, LongAlign-10k, LongAlpaca-12k）进行监督式微调（SFT），并评估模型在长任务（LongBench-Chat）和短任务（MT-Bench）上的性能。： - 对模型在长上下文任务上的泛化能力进行了研究，发现模型能够处理未见过的长上下文查询，如撰写研究论文的评论。：研究LLMs在未见过的长上下文查询（OOD）上的泛化能力，以及如何通过训练提高这种能力。
LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS
c_cpp_csharp的专栏
10-10 1352
我们提出了LongLoRA，一种有效的微调方法，以有限的计算成本扩展预训练的大型语言模型(llm)的上下文大小。通常，训练具有长上下文大小的llm在计算上是昂贵的，需要大量的训练时间和GPU资源。例如，在上下文长度为8192的情况下进行训练，自注意力层的计算成本是在上下文长度为2048的情况下的16倍。本文从两个方面加快LLM的语境扩展。一方面，虽然在推理过程中需要密集的全局关注，但通过稀疏的局部关注可以有效地对模型进行微调。
LongAlign：大模型长文本处理能力提升之道
人工智能讲师分享前沿技术
07-27 1560
大模型（LLMs）在处理长文本时，需要在输入序列上进行指令微调（instruction finetuning），以确保它们能够有效地处理长文本。现有的方法主要集中在上下文扩展（context extension），即通过位置编码扩展和对长文本的持续训练来提升模型的上下文长度。
LongAlign：ChatGLM 团队发布的超长文指令数据及训练评估方案
木尧大兄弟
08-24 1704
这是一个由清华 ChatGLM 团队提出的长上下文指令微调数据（64k）、模型训练策略、评测基准 LongBench-Chat 一条龙方案。
今日arXiv最热NLP大模型论文：清华提出LongAlign，打破长上下文对齐瓶颈，数据、训练策略、评估基准一网打尽
夕小瑶科技说
02-15 1744
基础模型选用ChatGLM3-6B、Llama-2-7B和Llama-2-13B，考虑到它们的8,000和4,000的上下文窗口，作者进行上下文扩展，将它们的上下文窗口扩展到64,000，得到ChatGLM3-6B-64k，Llama-2-7B-64k和Llama-2-13B-64k。LongAlign-10k在长指令和短指令任务上表现更佳，优于LongAlpaca-12k，尤其在LongBench-Chat和MTBench上，说明多样的长指令数据有助于提高模型的遵循指令能力。
2万字的SFT for Alignment 总结纪要
zenRRan的博客
09-12 1018
知乎：张峻旗链接：https://zhuanlan.zhihu.com/p/717553974本文是个人大模型学习笔记的第二十五篇，以18K再次刷新了单篇字符记录，感兴趣的话可以点击专栏阅读其余笔记，欢迎各位知友在评论区交流、指正。入选「知势榜」8月成长力榜，完全超出笔者预料，也激励自己坚持在本专栏分享学习心得。大模型学习笔记www.zhihu.com/column/c_1765686812465...
yolo模型精度提升策略
qq_47798402的博客
06-09 1001
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1266
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 791
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 706
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1408
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
破局零售挑战！华为云AI+零售峰会聚焦数智转型实践
最新发布
weixin_43735236的博客
06-12 223
该方案面向零售伙伴客户物流、运营、门店、客服和办公等场景，依托华为云最新发布的CloudDevice关键产品和自有AI大模型，在云上服务方面具备一跳入云、一云多端、极低时延、普惠AI等方面的优势，可为零售伙伴客户筑牢算力底座，满足零售伙伴客户“产-供-营-销-服”全链路智能化核心需求。该计划面向全国数智化企业，汇聚华为云及合作伙伴在政策、产品、技术、品牌等方面的资源与能力，向伙伴开放能力共生、商业共赢和数字化服务三大平台，为零售企业的品牌营销与业务运营提供强大技术支撑，加速企业成长。6月13日，鹭岛厦门！
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
打造全国最全的AI Agent开发知识领域的博客
06-11 2237
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
只有左边一个小酒窝的专栏
06-08 935
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
CppCon 2015 学习:Algorithmic Differentiation C++ & Extremum Estimation
虾球
06-10 964
浮点数表示法的灵感：科学记数法浮点数的表示方法受到科学记数法的启发。x×baseexponentx×baseexponent6.022×10236.022×1023这种表示法使得我们能够处理非常大的数（如102310^{23}1023）以及非常小的数（如10−2310^{-23}10−23），并且有效地表示各种数值。
钉钉C10圆桌派在北京召开 AI一体机首次签约
weixin_43735236的博客
06-09 139
一体机也提供多种AI助理，覆盖审批、工单、行政、法务等多个高频场景，可广泛应用于零售、连锁、生产制造、教育、法律服务等众多行业，帮助企业进一步提质降本增效，数智化升级。通过部署钉钉AI一体机，杰锐思打造了装配助手、代码助手等AI应用，实现了从知识检索到业务协同的全链路升级，在数据安全的基础上，进一步实现了增效降本和效率提升。6月6日，钉钉在北京举办C10圆桌派-AI专场思享会，会上，钉钉和苏州杰锐思智能科技股份有限公司（以下简称：杰锐思）就AI一体机应用签署合作协议，这是钉钉首次在客户落地AI一体机实践。
NLP-数据集介绍（并不全，文本类介绍）
weixin_50285694的博客
06-09 1152
提供一些文本表征领域的公开数据集。
【DAY43】复习日
daomingwu1的博客
06-08 340
kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化。内容来自@浙大疏锦行python打卡训练营。进阶：并拆分成多个文件。
数字人矩阵源码技术开发核心功能，定制化开发
yunluohd181的博客
06-12 583
在人工智能与多媒体技术飞速发展的当下，数字人矩阵凭借其规模化、自动化的内容生产能力，成为短视频营销、虚拟直播、智能客服等领域的热门技术方案。本文将深入剖析数字人矩阵源码开发的核心功能板块，从技术架构到实现细节，为开发者揭开数字人矩阵的神秘面纱。
A Recipe for Watermarking Diffusion Models
04-02
### 扩散模型中的水印技术实现 扩散模型是一种基于概率分布建模的技术，在图像生成领域取得了显著成果。然而，随着这些模型的应用日益广泛，保护知识产权的需求也变得尤为重要。为此，研究者提出了多种针对扩散模型的水印嵌入方案。 一种常见的方法是在训练阶段通过修改损失函数来嵌入水印[^1]。具体而言，可以在目标函数中加入额外项以优化特定模式或特征向量作为隐秘标记。这种方法的优点在于不会明显影响模型性能的同时实现了版权标识的功能。 另一种方式则是在推理过程中动态添加个性化标签[^2]。例如当利用预训练好的扩散网络生成新图片时，可以调整某些超参数或者输入条件从而使得输出结果携带预定信息而不破坏视觉质量。 此外还有直接操作权重矩阵本身来进行永久性标注的做法[^3]。此策略涉及对神经元连接强度做细微改动以便于后期验证所有权归属情况而无需改变原有架构设计太多细节部分即可完成整个流程设置工作。 下面给出一段简单的伪代码用于演示如何在Python环境下构建基本框架： ```python import torch from diffusers import StableDiffusionPipeline def apply_watermark(model, watermark_data): """Apply a watermark by modifying the model's parameters.""" with torch.no_grad(): for param in model.parameters(): param.add_(watermark_data * 0.01) pipeline = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5") # Example of embedding some random noise as watermark data. torch.manual_seed(42) watermark_tensor = torch.randn_like(next(pipeline.text_encoder.parameters())) apply_watermark(pipeline.unet, watermark_tensor) image = pipeline(prompt="A digital art piece").images[0] image.save("./output_with_watermark.png") ``` 上述脚本展示了怎样加载稳定扩散管道并对其内部组件施加自定义扰动达到隐藏签名效果的目的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值