论文阅读：2024 ICLR RLCD: Reinforcement Learning from Contrastive Distillation for LM Alignment

已于 2025-05-10 15:33:49 修改
阅读量1k 收藏 19
点赞数 22
CC 4.0 BY-SA版权
分类专栏： 论文阅读 文章标签： 论文阅读
于 2025-04-24 09:08:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WhiffeYF/article/details/147468790

https://github.com/facebookresearch/rlcd
RLCD: Reinforcement Learning from Contrastive Distillation for LM Alignment

https://openreview.net/forum?id=v3XXtxWKi6

https://www.doubao.com/chat/3832549893298946

速览

  • 研究动机：RLHF依赖人工标注成本高，RLAIF和上下文蒸馏存在标签噪声或对比不足问题。
  • 研究问题：如何无需人工反馈，用对比提示生成高质量偏好数据以对齐语言模型。
  • 研究方法：构造正负提示生成对比输出对，训练偏好模型后通过PPO微调语言模型，避免人工标注。
  • 研究结论：RLCD在无害性、帮助性等任务中优于基线方法，尤其在小模型上效果显著。
  • 不足：未验证更大规模预训练模型，性能受提示设计影响，多语言表现未探究。

这篇论文主要介绍了一种名为RLCD（对比蒸馏强化学习）的新方法，目的是让语言模型（如LLaMA）更好地遵循人类设定的规则（比如无害性、

了解本专栏 订阅专栏 解锁全文 超级会员免费看
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5267
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
ICLR 2023（投稿）｜自然语言处理相关论文分类整理
Kaiyuan_sjtu的博客
10-26 1630
© 作者｜都一凡 机构｜中国人民大学高瓴人工智能学院 研究方向 |预训练模型ICLR是人工智能领域顶级会议之一，会议主题包括深度学习、统计和数据科学，以及一些重要的应用，例如：计算机视觉、计算生物学、语音识别、文本理解、游戏和机器人等。ICLR 2023将于2023年5月1日至5月5日在卢旺达基加利举行。由于官方的论文接受列表尚未公开，因此本文从投稿论文中选取了与自然语言处理相关的1...
2024 推荐系统论文汇总
热门推荐
卢之
01-08 1万+
对2024年的 推荐系统论文进行一波收集，给各位初学者和算法大佬作为灵感来源，后续专栏会继续更新论文解读，根据评论不断补充，欢迎大家三连~
【转】Knowledge-Distillation 知识蒸馏论文集合
u014546828的博客
06-28 1万+
Awesome Knowledge-Distillation 博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.html Awesome Knowledge-Distillation Different forms of knowledge Knowledge from logits Knowledge from intermediate layers Graph-based.
今日arXiv精选 | 35篇顶会论文：ICCV/ CIKM/ ACM MM
Paper weekly
08-19 4974
关于#今日arXiv精选这是「AI 学术前沿」旗下的一档栏目，编辑将每日从arXiv中精选高质量论文，推送给读者。TSI: an Ad Text Strength Indicator...
论文笔记目录（ver2.0）
qq_40206371的博客
01-25 3402
soft-dtw，可微分版本的dtwASTGCN:1）使用空间注意力机制来建模空间层面复杂的相关性2）使用时间注意力机制来捕获不同时间之间的动态时间相关性3）使用图卷积来捕获交通图中的空间特征；以及不同时间篇之间的依赖关系开发了一种transformer 用于时间序列1，使用因果卷积使得Q,K计算过程中可以看到一定的局部性2，提出LogSparse Transformer，将空间复杂度降至利用深度学习解决单变量时间序列点预测问题提出了一种。该模型具有可解释性时空注意力机制。
【论文合集】Awesome Backdoor Learning
m0_61899108的博客
05-19 3669
关于后门攻击&防御的博客与论文。
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(一)
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-01-22     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
2023 推荐系统论文整理
卢之
04-14 9807
对2023年的推荐系统论文进行一波收集，给各位做灵感。
NLP论文多个领域经典、顶会、必读整理分享及相关解读博客分享
qq_42189083的博客
05-29 3194
持续更新收集*** 1、Bert系列 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - NAACL 2019) ERNIE 2.0: A Continual Pre-training Framework for Language Understanding - arXiv 2019) StructBERT: Incorporating Language Structures into
2020年NLP所有领域最新、经典、顶会、必读论文
lqfarmer的博客
05-23 5231
本资源整理了近几年，自然语言处理领域各大AI相关的顶会中，一些经典、最新、必读的论文，涉及NLP领域相关的，Bert模型、Transformer模型、迁移学习、文本摘要、情感分析、问答、机器翻译、文本生成、质量评估、纠错(多任务、masking策略等。)、Probe、多语言、领域相关、多模态、模型压缩、谓词填充、Analysis、分词解析NER、代词指代消解、词义消歧、情感分析、关系抽取、知识库、文本分类等，几乎所有领域。 资源整理自网络，源地址：https://github.com/...
RLHF-V原论文阅读
2301_80365274的博客
08-01 638
当前MLLM研究现状：普遍受到幻觉问题影响（trustworthy）+RLHF-V（通过从细粒度纠正性人类反馈的行为对齐）+主要创新点：segment-level和DDPO+实现的效果。
论文阅读：DMD蒸馏 | One-step Diffusion with Distribution Matching Distillation
a486259的博客
08-03 683
DMD的目的是训练一个单步生成器Gθ，但不包含时间条件，将随机噪声z映射为一张逼真的图像。其通过最小化两个损失的和来训练快速生成器：一个是分布匹配损失，其梯度更新可以表示为两个得分函数的差值；另一个是回归损失，它鼓励生成器在固定的噪声-图像对数据集上匹配基础模型输出的大尺度结构。
论文阅读笔记：Dataset Condensation with Gradient Matching
m0_61222152的博客
08-02 879
本文提出了一种创新的数据集压缩方法——数据集凝缩（Dataset Condensation,DC）其核心思想是通过梯度匹配（Gradient Matching）,将一个大型数据集`T`浓缩成一个极小的、信息量丰富的合成数据集`S`。在`S`上从头训练的模型，其性能可以逼近在`T`上训练的模型，从而极大地节省了存储和训练成本。
ModeSeq论文阅读
ZHANG8023ZHEN的博客
08-01 220
传统的WTA的策略只会监督和GT差异最小的那条轨迹。而EMTA策略会监督在RNN结构中找和GT match上的并且是相对更早decode出来的那条轨迹（也就是在RNN结构中认为概率更高的那条）。如果没有match上的话，就退回WTA策略。这样就能让model尽早decode出目标的模态，也能提升Miss Rate的表现。主要特点：出轨迹是迭代了多次，每次出一条，然后去找和真值最近并且出现最早的轨迹，进行监督。参考：https://zhuanlan.zhihu.com/p/708683454。
[论文阅读] 人工智能 + 教学 | 从代码到职业：用机器学习预测竞赛程序员的就业潜力
最新发布
张较瘦
08-04 698
本文是对论文《From Code to Career: Assessing Competitive Programmers for Industry Placement》的解读。该论文旨在利用Codeforces用户的竞争性编程数据预测其就业潜力。文中阐述了研究背景，即科技行业对软件工程师需求大增，但传统评估方式存在不足；介绍了主要作者及单位信息；分析了研究的创新点，如关联竞赛表现与就业潜力、四级分类模型等；详细讲解了数据收集、预处理、模型开发与评估、系统部署等研究方法；总结了研究的主要贡献，包括提供评估工
[论文阅读] 人工智能 + 软件工程 | KnowledgeMind：基于MCTS的微服务故障定位新方案——告别LLM幻觉，提升根因分析准确率
张较瘦
07-31 847
本文介绍了论文提出的KnowledgeMind系统——一种基于蒙特卡洛树搜索（MCTS）和知识库的多智能体故障定位方案。该系统针对微服务架构下故障定位难、现有LLM方法易产生幻觉和受限于上下文窗口的问题，通过日志、指标、追踪等智能体分工处理数据，结合故障挖掘树和MCTS实现逐服务推理，并利用知识库实时纠错。实验表明，其根因定位准确率比现有最好方法提升49.29%至128.35%，且对上下文窗口的需求仅为前者的1/10，能适应大规模微服务系统，为故障根因分析提供了更可靠、高效的新工具。
论文阅读笔记：《Dataset Condensation with Distribution Matching》
m0_61222152的博客
08-03 696
用少量可学习的合成图像，**通过多组随机网络上的分布匹配（MMD）**，高效地“蒸馏”出与原始大数据集等价的训练集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSPhD-winston-杨帆

给我饭钱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值