论文阅读：2023 ICLR Safe RLHF: Safe Reinforcement Learning from Human Feedback

已于 2025-04-22 15:57:22 修改
阅读量644 收藏 8
点赞数 5
分类专栏： 论文阅读 论文翻译 文章标签： 论文阅读
于 2025-04-18 20:26:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WhiffeYF/article/details/147339944
版权

总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328

Safe RLHF: Safe Reinforcement Learning from Human Feedback
安全 RLHF：通过人类反馈进行安全强化学习

https://arxiv.org/pdf/2310.12773

https://github.com/PKU-Alignment/safe-rlhf

https://www.doubao.com/chat/3556303170287106

国内首个可复现的RLHF基准，北大团队开源 PKU-Beaver

文章目录

速览

  • 研究动机：
了解本专栏 订阅专栏 解锁全文 超级会员免费看
大模型安全相关研究
CSPhD-winston的博客
09-11 643
翻译：arXiv-2023 PromptRobust: Towards Evaluating the Robustness of Large Language Models on
ICML 2024 Oral | DPO是否比PPO更适合LLM，清华吴翼团队最新揭秘
强化学习曾小健
12-09 869
相比于之前的开源工作，ReaLHF 可以在 RLHF 这个比预训练更复杂的场景下达到近乎线性的拓展性，同时具有更高的资源利用率，在 128 块 A100 GPU 上也能稳定快速地进行 RLHF 训练，相关工作已开源：https://github.com/openpsi-project/ReaLHF。那么，简单的对齐算法一定效果更好吗？想要实现效果较好的大模型对齐，高效率的训练系统是不可缺少的，在实现大规模强化学习训练上，吴翼团队有长期的积累，从 2021 年开始就搭建了专属的分布式强化学习框架。
RLHF (Reinforcement Learning from Human Feedback) ，以强化学习方式依据人类反馈优化语言模型
NextStation_的博客
09-20 518
RLHF解决了将预先训练的大型语言模型 (LM) 与人类偏好保持一致的问题。如果我们将文本生成视为一个顺序决策问题，那么强化学习（RL）似乎是一个自然的概念框架。然而，使用强化学习进行基于 LM 的生成面临着实证挑战，包括由于组合动作空间导致的训练不稳定，以及缺乏为 LM 对齐定制的开源库和基准。因此，研究界提出了一个问题：强化学习是 NLP 的实用范式吗？为了帮助回答这个问题，进行了如下实验：首先引入一个开源模块化库 RL4LMs（语言模型强化学习），用于使用 RL 优化语言生成器。
Safe RLHF: 安全的人类反馈强化学习
m0_75126181的博客
10-18 896
海狸被称为"天然的大坝工程师",它们善于使用树枝、灌木、岩石和泥土来建造大坝和小木屋,创造适合其他生物居住的湿地环境,是生态系统中不可或缺的一部分。通过显式解耦人类对有用性和无害性的偏好,Safe RLHF不仅提高了模型的性能,还显著增强了其安全性。研究团队通过三轮使用Safe RLHF的微调,展示了该方法在减少有害响应的同时提高模型性能方面的优越能力。Beaver是一个基于LLaMA的大语言模型,通过收集与有用性和无害性相关的人类偏好数据,并使用Safe RLHF技术进行训练。
RLHF-Safe RLHF：带着脚镣跳舞的PPO！
zenRRan的博客
12-20 580
作者：小冬瓜AIGC，大模型LLM，RLHF，Safety，Alignment编辑：青稞AI快来！NLP论文投稿、LLM交流、论文直播群1. Safe RLHF 介绍论文：Safe RLHF: Safe Reinforcement Learning from Human Feedback，ICLR2024，PKU 链接：https://arxiv.org/pdf/2310.12773.pdf•本...
国内外高校具身智能实验室汇总（国内、北美、欧洲篇）
3D视觉工坊
11-18 643
点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达来源：具身智能之心添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。扫描下方二维码，加入「3D视觉从入门到精通」知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，...
【前沿探索】揭示LLM中外部幻觉的本质，探讨其产生机制与有效应对策略，实现模型输出的真实性—慢慢学AI053
weixin_43466834的博客
08-04 1141
AI幻觉的定义不断延申，本文是OpenAI高级工程师LiLianWen综合分析24篇最新研究论文的出来的结果，对AI幻觉从整体到细节，都有非常深入的分析和阐述，非常难得
【论文阅读】《Baichuan 2: Open Large-scale Language Models》
weixin_45606499的博客
10-16 5171
摘要大型语言模型 (LLM) 在自然语言任务上展现了出色的性能，减少了对大量特征工程的需求。但大多数高效的LLM主要针对英语或为闭源。本技术报告介绍了Baichuan 2，一个大规模多语言模型系列，包含70亿和130亿参数，基于2.6万亿tokens从零开始训练。Baichuan 2在公开基准测试如MMLU、CMMLU、GSM8K和HumanEval上达到或超过了其他同类开源模型的性能，并在医学和法律等垂直领域表现优异。
[论文阅读]ControlNET: A Firewall for RAG-based LLM System
m0_52911108的博客
05-13 1088
RAG存在数据泄露风险和数据投毒风险。相关研究探索了提示注入和投毒攻击，但是在控制出入查询流以减轻威胁方面存在不足文章提出一种ai防火墙CONTROLNET，保护基于RAG的LLM系统免受这些漏洞的侵害利用激活转移现象检查恶意查询，通过语义差异来减轻影响从而控制查询流数据泄露风险源于恶意客户端进行侦察以提取系统提示或利用 RAG 系统环境。
分割一切(SAM) 论文阅读：Segment Anything
weixin_50946965的博客
05-13 820
我们介绍了任何片段（SA）项目：一个新的任务，模型和数据集的图像分割。在数据收集循环中使用我们的高效模型，我们建立了迄今为止（到目前为止）最大的分割数据集，在1100万张许可和尊重隐私的图像上拥有超过10亿个掩模。该模型被设计和训练为提示，因此它可以将零拍摄转移到新的图像分布和任务。我们评估了它在许多任务中的能力，发现它的零射击性能令人印象深刻-通常与之前的完全监督结果相竞争甚至优于。
多模态论文笔记——NaViT
haopinglianlian的博客
05-14 1035
本文详细解读多模态论文NaViT（Native Resolution ViT），将来自不同图像的多个patches打包成一个单一序列——称为Patch n’ Pack——从而实现可变分辨率并保持长宽比。在训练过程中**采用序列封装的方式**处理**任意分辨率和纵横比**的输入，除了具备灵活性的模型应用外，还展示了通过大规模监督和contrastive image-text pretraining来提高训练效率。
【多模态】IMAGEBIND论文阅读
胡侃有料的博客
05-11 982
IMAGEBIND 多模态论文梗概IMAGEBIND是一种夸模态的神经网络，以图片为中心，联合六中模态的网络（图片、文字、音频、深度图、热力图、惯性测量单元）
【论文笔记】ViT-CoMer
Word_And_Me_的博客
05-14 1004
例如，在 1 倍（3 倍）训练计划下，ViT-CoMer-S 相比于普通 ViT-S，边界框平均精度均值（box mAP）显著提升了 + 5.6%（+4.8%），掩码平均精度均值（mask mAP）提升了 + 3.4%（+3.1%）。经过多模态预训练的 ViT-CoMer-B 与在 ImageNet-1K 上预训练的模型相比，在边界框平均精度(APb)上提升了(+1.7%)，在掩码平均精度(APm)上提升了(+1.7%)。经过N个阶段的特征交互后，将两个分支在每个尺度上的特征相加，用于密集预测任务。
Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise论文阅读
qq_45987837的博客
05-13 476
本文提出了一种名为“冷扩散”的新型生成模型，挑战了传统扩散模型依赖高斯噪声的固有观念。研究发现，扩散模型的生成能力并不局限于噪声的添加与去除，而是可以通过完全确定性的降质操作（如模糊、遮蔽等）实现。通过训练恢复网络来反转这些降质操作，冷扩散模型能够在无需任何随机性的情况下生成高质量图像。这一发现不仅突破了传统扩散模型的理论框架，还为更通用的图像生成模型提供了新的研究方向。相关代码已开源，供进一步探索和应用。
多模态论文笔记——Coca
haopinglianlian的博客
05-12 1023
本文详细介绍多模态模型Coca，在DALL·E 3中使用其作为captioner基准模型的原因和优势。
【论文阅读】UNIT: Backdoor Mitigation via Automated Neural Distribution Tightening
开心星人的博客
05-14 810
ECCV2024UNIT为模型中的每个神经元近似一个独特且紧密的激活分布。然后，它主动消除超出近似边界的大幅激活值。现有的后门缓解技术对先前的攻击有效，但它们在消除由高级攻击引起的后门效应方面却力不从心。这是因这些方法要么在没有精确指导以减少后门效应的情况下重新训练整个模型，要么直接修剪一些特定神经元。这种粗粒度的方法无法对抗最近的高级攻击。例如，。在这种情况下，修剪这些神经元会不必要地影响良性效用。另一方面，保留这些神经元会保留模型中的后门行为。
【论文阅读】BEVFormer
最新发布
博客标题不能为空我也没办法
05-15 393
BEVFormer，利用时间自注意力和空间交叉注意力对BEV query进行处理，输出场景的BEV特征
论文阅读与写作：《从探索到突破：解密科研和论文写作的思维密码》
Edward2022的博客
05-11 965
论文阅读与写作2：本次讲座主要分享了科研和论文写作的经验，包括如何选题、如何阅读和理解论文、如何撰写论文以及如何发表论文等内容。讲座强调了科研过程中要注重数据真实、尊重他人成果、避免一稿多投等学术道德问题。同时，也分享了一些阅读和理解论文的方法，以及如何根据不同的论文类型选择合适的题目。此外，还详细解析了论文的结构和内容，以及如何根据研究方向和导师意见确定论文的创新点。最后，讲座还讨论了如何选择合适的期刊和会议进行投稿，以及如何处理评审过程中可能遇到的问题。
IC3Net: 引领ICLR 2019的多智能体协作与竞争研究代码解析
1. 强化学习（Reinforcement Learning）: 强化学习是一种机器学习范式，它关注如何基于环境交互来做出决策。在强化学习中，智能体（agent）通过试错的方式在环境中学习，根据获得的奖励信号来调整其行为策略，以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSPhD-winston-杨帆

给我饭钱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值