偏好对齐RLHF-OpenAI·DeepMind·Anthropic对比分析（二）

最新推荐文章于 2024-11-04 10:51:20 发布

人工智能MOS

最新推荐文章于 2024-11-04 10:51:20 发布

阅读量1.7k

点赞数 45

文章标签：人工智能大数据机器学习深度学习大模型

本文链接：https://blog.csdn.net/2301_81887304/article/details/135759669

版权

本文对比分析了 Anthropic、OpenAI 和 DeepMind 在使用RLHF（强化学习从人类反馈）进行偏好对齐方面的研究。Anthropic通过红蓝对抗标注有害性和有用性，使用RLHF微调模型提高安全性，同时探讨了奖励模型和模型稳健性。论文指出RLHF学习到的是在多选项中选择偏好最高的回复，类似于拒绝采样，而RL和SFT在优化策略上有差异。此外，文章讨论了适合RLHF的初始模型应具备生成人类偏好回复的能力，并列举了一些无需微调支持长文本输入的解决方案。

摘要由CSDN通过智能技术生成

Anthropic

paper: Red Teaming Language Models to Reduce Harms Methods,Scaling Behaviors and Lessons Learned

paper: A General Language Assistant as a Laboratory for Alignment

paper:Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback

数据：https://huggingface.co/datasets/Anthropic/hh-rlhf

样本构建

从论文标题不难看出，Anthropic也只考虑了2H，有害性和有用性。并且着重研究了对抗有害样本的生成，受限于篇幅这里不展开。我个人也更偏好2H，因为我始终没太想明白Honesty如何能通过对齐实现。因为部分非事实性是来自预训练样本中的噪声，例如预训练样本中是"鲲之大一锅炖不下"，如何通过对齐让模型学到"鲲之大，不知其几千里也"？部分非事实性来自训练样本的有限性，需要像Bing一样通过引入实时信息来解决，要是大家有不一样的观点也欢迎留言评论。

同样是拆分了2个标注任务，和DeepMind的差异是，Anthropic是把有害性和有用性分成了两个标注任务，针对开放的对话主题进行4轮左右的对话。