论文阅读：2024 NeurIPS Group Robust Preference Optimization in Reward-free RLHF

最新推荐文章于 2025-05-14 14:26:23 发布
最新推荐文章于 2025-05-14 14:26:23 发布
阅读量819 收藏 16
点赞数 11
分类专栏： 论文阅读 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WhiffeYF/article/details/147515618
版权

Group Robust Preference Optimization in Reward-free RLHF

https://www.doubao.com/chat/3870738843518978

https://arxiv.org/pdf/2405.20304

速览

  • 研究动机 传统RLHF忽视群体偏好差异，导致模型对少数群体表现不佳，需提升群体鲁棒性。
  • 研究问题 如何使大语言模型在多样化群体偏好中实现稳健对齐，避免“一刀切”带来的不公平？
  • 研究方法 提出GRPO框架，结合群体信息与无奖励优化，通过自适应加权优先优化最差群体损失，理论分析收敛性并设计交替更新算法。
  • 研究结论 GRPO显著提升最差群体性能，减少群体间损失失衡，在合成和真实数据中优于非鲁棒基线，增强模型公平性。
  • 不足 在数据平衡场景优势有限，最坏情况优化可能降低平均性能，需进一步权衡参数调节。

这篇论文主

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大模型微调实战之 Transformer 强化学习（TRL Reinforcement Learning）（四） Direct Preference Optimization
段智华的博客
04-28 439
大模型微调实战之 Transformer 强化学习（TRL Reinforcement Learning）（四） Direct Preference Optimization 直接偏好优化（DPO）已成为微调新基础模型的方式。著名的 Mixtral 8x7B 是 Mistral 创建的稀疏专家混合模型，通过使用 DPO，能够以明显更少的参数达到 LLaMa 70B 的性能水平。当然，这种成功促使社区中的许多人开始使用 DPO 微调他们自己的模型。让我们深入了解 DPO 到底是什么以及 如何走到这一步的首先
【AI 大模型论文中英双语阅读】让我们一步步验证 Let’s Verify Step by Step
AI天才研究院
09-22 638
最后，我们研究主动学习的影响。为了训练每个更大的奖励模型，我们选择 N 每个问题的样本 80% 是最有说服力的（根据 PRMselector ）错误答案样本，以及 20% 是剩下的最有说服力的样本（正确或错误的答案）。尽管我们有时会出现正确的解决方案（通过手动注入正确的解决方案或由于自动评分中的错误），但我们在此阶段收集的绝大多数标签都是错误的解决方案。我们发布了 PRM800K，这是用于训练我们最先进的奖励模型的人类反馈的完整数据集，希望消除这一重大的进入障碍将促进大型语言模型对齐的相关研究。
【大模型理论篇】大模型中的强化学习RLHF(PPO)、DPO(Direct Preference Optimization)等概念的理解与解析
源泉的小广场
10-16 3072
大模型、大模型预训练、大模型对齐、人类对齐、RLHF、强化学习、ppo、dpo、近端策略优化、直接偏好优化、Human Alignment、Direct Preference Optimization、Proximal Policy Optimization
【翻译】Direct Preference Optimization(DPO)你的语言模型实际上是一个奖励模型
PiPiQ_Blog的博客
01-01 1057
虽然大规模无监督语言模型(Im)学习了广泛的世界知识和一些推理技能，但由于其训练的完全无监督性质，很难实现对其行为的精确控制。获得这种可控性的现有方法收集模型生成的相对质量的人工标记，并微调无监督LM以符合这些偏好,通常通过人工反馈的强化学习(RLHF)。然而，RLHF是一个复杂且往往不稳定的过程，首先拟合反映人类偏好的奖励模型，然后使用强化学习对大型无监督LM进行微调,以在不偏离原始模型太远的情况下最大化该估计奖励。
MLLM之R1-Reward：《R1-Reward: Training Multimodal Reward Model Through Stable Reinforcement Learning》翻译
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-11 712
​ MLLM之R1-Reward：《R1-Reward: Training Multimodal Reward Model Through Stable Reinforcement Learning》翻译与解读 目录 《R1-Reward: Training Multimodal Reward Model Through Stable Reinforcement Learning》翻译与解读 Abstract 1、Introducti
【手撕RLHF-DPO(2)】过拟合分析与IPO改进
bagell的博客
07-17 2390
DPO推导需要掌握BT Model和RL优化算法， 其所谓的最优策略也仅是在BT Model形式下的最优。DPO是一种高效的RLHF平替方法，无需额外训练reward model即可做policy优化，但DPO与PPO还是有较大差异，PPO由于reward model 欠拟合使得RL优化更有鲁棒性，一部分是由偏好数据决定的。DPO的变种非常多，简易做了分类，适合扩展阅读IPOcDPOCPOKTONPOSmaugsDPOORPORSO。
一文速览推理模型DeepSeek R1：如何通过纯RL训练以比肩甚至超越OpenAI o1(含Kimi K1.5、QwQ-32B的解读)
热门推荐
结构之法 算法之道
01-21 3万+
而DeepSeek-V3和Kimi K1.5的意义在于，即便它两和OpenAI o1的实现不一致(当然，也可能很大程度上一致) 也不是很重要的事情了，因为从结果的角度出发，它两的效果比肩甚至超越o1，单这一点 就足够了。没想到，DeepSeek-V3还没解读完，DeepSeek-R1又来了，而且几乎同一时期，Kimi K1.5也来了。有意思的在它两的技术报告里，很多指标都比肩甚至超越OpenAI的o1模型。因此，本文重点解读一下它两的技术报告。
LLMs之Baichuan2：《Baichuan 2: Open Large-scale Language Models》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-07 2987
​ LLMs之Baichuan2：《Baichuan 2: Open Large-scale Language Models》翻译与解读 目录 相关文章 《Baichuan 2: Open Large-scale Language Models》翻译与解读 Abstract摘要 1Introduction引言 2Pre-training预训练 3 Alignment对齐=SFT+RLHF(RM+RL)
2024年5月31日Arxiv最新大语言模型相关论文
数智笔记
05-31 2510
在这项工作中，我们提出了Xwin-LM，这是一个针对大语言模型（LLMs）的全面对齐方法套件。该套件包括几种关键技术，包括监督微调（SFT）、奖励建模（RM）、拒绝采样微调（RS）和直接偏好优化（DPO）。关键组件如下：（1）Xwin-LM-SFT，最初使用高质量指令数据进行微调的模型；（2）Xwin-Pair，一个大规模、多轮偏好数据集，使用GPT-4进行精心注释；（3）Xwin-RM，在Xwin-Pair上训练的奖励模型，规模为7B、13B和70B参数；
源码解析RHLF：LLaMA-Factory/src/llamafactory/hparams/finetuning_args.py
强化学习曾小健
05-26 980
20 强调了在强化学习阶段，用到的奖励模型和价值模型（critic model）都使用同一个模型初始化，因此在训练奖励模型的过程中，也是在训练价值模型。不得不佩服作者构思的巧妙，通过求导，作者捕捉到了”暗含“的 reward —— �(�^�(�,��)−�^�(�,��)) ，作者在论文里说到，当我们在让 loss 降低的过程中，这个 reward 也会变小（可以用来做 rejected_rewards）。：根据评估结果，可能需要回到步骤3或4，对奖励模型的结构或训练数据进行调整，以改进模型的性能。
大模型安全相关研究
CSPhD-winston的博客
09-11 636
翻译：arXiv-2023 PromptRobust: Towards Evaluating the Robustness of Large Language Models on
[论文阅读]ControlNET: A Firewall for RAG-based LLM System
m0_52911108的博客
05-13 1065
RAG存在数据泄露风险和数据投毒风险。相关研究探索了提示注入和投毒攻击，但是在控制出入查询流以减轻威胁方面存在不足文章提出一种ai防火墙CONTROLNET，保护基于RAG的LLM系统免受这些漏洞的侵害利用激活转移现象检查恶意查询，通过语义差异来减轻影响从而控制查询流数据泄露风险源于恶意客户端进行侦察以提取系统提示或利用 RAG 系统环境。
多模态论文笔记——NaViT
haopinglianlian的博客
05-14 922
本文详细解读多模态论文NaViT（Native Resolution ViT），将来自不同图像的多个patches打包成一个单一序列——称为Patch n’ Pack——从而实现可变分辨率并保持长宽比。在训练过程中**采用序列封装的方式**处理**任意分辨率和纵横比**的输入，除了具备灵活性的模型应用外，还展示了通过大规模监督和contrastive image-text pretraining来提高训练效率。
分割一切(SAM) 论文阅读：Segment Anything
weixin_50946965的博客
05-13 798
我们介绍了任何片段（SA）项目：一个新的任务，模型和数据集的图像分割。在数据收集循环中使用我们的高效模型，我们建立了迄今为止（到目前为止）最大的分割数据集，在1100万张许可和尊重隐私的图像上拥有超过10亿个掩模。该模型被设计和训练为提示，因此它可以将零拍摄转移到新的图像分布和任务。我们评估了它在许多任务中的能力，发现它的零射击性能令人印象深刻-通常与之前的完全监督结果相竞争甚至优于。
【多模态】IMAGEBIND论文阅读
胡侃有料的博客
05-11 967
IMAGEBIND 多模态论文梗概IMAGEBIND是一种夸模态的神经网络，以图片为中心，联合六中模态的网络（图片、文字、音频、深度图、热力图、惯性测量单元）
【论文笔记】ViT-CoMer
最新发布
Word_And_Me_的博客
05-14 849
例如，在 1 倍（3 倍）训练计划下，ViT-CoMer-S 相比于普通 ViT-S，边界框平均精度均值（box mAP）显著提升了 + 5.6%（+4.8%），掩码平均精度均值（mask mAP）提升了 + 3.4%（+3.1%）。经过多模态预训练的 ViT-CoMer-B 与在 ImageNet-1K 上预训练的模型相比，在边界框平均精度(APb)上提升了(+1.7%)，在掩码平均精度(APm)上提升了(+1.7%)。经过N个阶段的特征交互后，将两个分支在每个尺度上的特征相加，用于密集预测任务。
Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise论文阅读
qq_45987837的博客
05-13 443
本文提出了一种名为“冷扩散”的新型生成模型，挑战了传统扩散模型依赖高斯噪声的固有观念。研究发现，扩散模型的生成能力并不局限于噪声的添加与去除，而是可以通过完全确定性的降质操作（如模糊、遮蔽等）实现。通过训练恢复网络来反转这些降质操作，冷扩散模型能够在无需任何随机性的情况下生成高质量图像。这一发现不仅突破了传统扩散模型的理论框架，还为更通用的图像生成模型提供了新的研究方向。相关代码已开源，供进一步探索和应用。
多模态论文笔记——Coca
haopinglianlian的博客
05-12 1004
本文详细介绍多模态模型Coca，在DALL·E 3中使用其作为captioner基准模型的原因和优势。
【论文阅读】UNIT: Backdoor Mitigation via Automated Neural Distribution Tightening
开心星人的博客
05-14 723
ECCV2024UNIT为模型中的每个神经元近似一个独特且紧密的激活分布。然后，它主动消除超出近似边界的大幅激活值。现有的后门缓解技术对先前的攻击有效，但它们在消除由高级攻击引起的后门效应方面却力不从心。这是因这些方法要么在没有精确指导以减少后门效应的情况下重新训练整个模型，要么直接修剪一些特定神经元。这种粗粒度的方法无法对抗最近的高级攻击。例如，。在这种情况下，修剪这些神经元会不必要地影响良性效用。另一方面，保留这些神经元会保留模型中的后门行为。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSPhD-winston-杨帆

给我饭钱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值