总结：大模型指令对齐训练原理

已于 2024-05-02 01:37:03 修改
阅读量1.4k 收藏 10
点赞数 28
分类专栏： LLM 应用实现总结 文章标签： 人工智能 自然语言处理
于 2024-03-06 15:15:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lichunericli/article/details/136507080
版权
本文介绍了大模型指令对齐训练的各种方法，包括RLHF、SFT、RRHF、LIMA、DPO和RAFT等。RLHF通过AI模型间的相互评估和微调实现对齐；RRHF通过排名损失实现人类偏好对齐；LIMA假设对齐主要发生在预训练阶段；DPO提出直接优化语言模型以匹配人类偏好；RAFT涉及模型的自我指令创建和自我奖励，以迭代方式提升模型能力和奖励建模效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原文地址：大模型指令对齐训练原理

  • RLHF
    • SFT
    • RM
    • PPO
  • AIHF-based
    • RLAIF
      • 核心在于通过AI 模型监督其他 AI 模型，即在SFT阶段，从初始模型中采样，然后生成自我批评和修正，然后根据修正后的反应微调原始模型。在 RL 阶段，从微调模型中采样，使用一个模型来评估生成的样本，并从这个 AI 偏好数据集训练一个偏好模型。然后使用偏好模型作为奖励信号对 RL 进行训练

    • RR
最低0.47元/天 解锁文章
纯干货！一文带你了解大模型(LLMs)对齐，非常详细~
强化学习曾小健
11-04 1万+
但我们距离真正解决这两个问题仍然十分遥远。一些更细致的问题，需要更多更深入的研究来回答，例如：如何以一种更好的形式和过程来表达人类偏好？如何选择学习策略的范式？如何评估更复杂，甚至是能力超过人类的 AI 系统？目前已经有一些研究在致力于解决其中的一些问题，例如，偏好学习 (Preference Learning) 作为建模用户偏好的有效技术，被认为是现阶段策略学习以及构建代理的一个有希望的研究方向。
知识图谱和大模型对齐不断微调
东方
02-23 103
融合训练后，大模型输出结果应该和知识图谱转换成的文字结果一致，如果不一致就还要对不一致的文本继续微调，一直到损失函数低于某个阈值才结束。融合训练后，大模型输出结果应该和知识图谱转换成的文字结果一致，如果不一致就还要对不一致的文本继续微调，一直到损失函数低于某个阈值才结束。融合训练后，大模型输出结果应该和知识图谱转换成的文字结果一致，如果不一致就还要对不一致的文本继续微调，一直到损失函数低于某个阈值才结束。跨学科任务智能体可以根据输入的跨学科任务，调用相应学科的专家智能体，协同完成任务。
大语言模型对齐的四种方法！
aolan123的博客
05-09 1992
社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。语言模型的对齐在20年就有相关工作，22年谷歌提出基于指令微调的Flan，Openai则提出InstructGPT，ChatGPT，大模型的对齐工作受到广泛的关注。目前，大模型的对齐工作中，RLHF算法是能够达到最优的结果，RLHF通过人类反馈和PPO算法，能够有效的将模型和人类偏好进行对齐。
【持续更新】总结所有的多模态大模型的对齐方式
Alex
05-21 4625
之前面试的时候被问到了这个问题，遂总结一下看到的论文中的多模态对齐方式。
大模型对齐告别微调，直接编辑表征空间即可解决
m0_59164520的博客
06-27 1526
人工智能技术正在飞速发展，尤其是大语言模型在自然语言处理领域取得了令人瞩目的成就。但同时，我们也面临着如何让语言模型更符合人类意图、减少有害内容生成的挑战。针对大模型对齐方向的挑战，本文提出了一种新颖的方法来解决这一难题。其核心思想是：将自回归语言模型看作一个离散时间随机动力系统，通过在其表征空间中引入控制信号，动态调整模型在生成过程中的行为，使之更加符合特定的对齐目标。与需要微调模型参数的方法不同，该方法只需训练一个简单的价值网络，并在测试时优化表征空间即可实现对齐，因而速度更快、资源占用更少。
从 大模型接受弱智吧再教育 谈指令微调对齐
python1222_的博客
06-16 2088
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
科普大模型入门指南：定义、应用与训练方法
热门推荐
张彦峰的博客
09-06 4万+
本文探讨了大语言模型的基本概念、训练机制以及其在各个领域的广泛应用。大模型通过深度学习技术，能够理解和生成自然语言，改变了人机交互的方式。文章分析了大模型的训练过程，并讨论了其在智能助手、内容生成、数据分析等领域的潜力。与此同时，我们也关注了在模型使用中面临的伦理、安全和可解释性等挑战。展望未来，本文强调了有效控制和监管的重要性，以确保大模型的安全和负责任使用。
大模型指令对齐训练原理
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
01-26 224
RLAIFRRHFSFT-onlyReward-only参考文献。
总结：大模型应用技术原理
安静的软件工程师
01-10 1994
大模型应用技术原理
【一.大模型认知与核心原理篇】【1. AI的崛起：大模型认知与核心原理揭秘】
最新发布
03-03 73
但技术越强大，越需要人类保持清醒——AI是工具，不是上帝。未来的赢家，一定是那些既懂技术原理，又能解决实际问题的人。比如，给机器一堆猫狗图片，让它自己总结猫和狗的特征（比如耳朵形状、毛发纹理），下次看到新图片就能判断是猫是狗。比如识别一张猫图时，神经网络会层层处理：第一层找边缘，第二层找耳朵眼睛，最后一层判断是不是猫。比如，学完1000篇小说后，能自己编一个合理的故事。它就像AI界的“内燃机”，彻底改变了游戏规则。就像多个人同时读同一段文字，各自关注不同角度（比如语法、语义、情感），最后综合结果更全面。
大模型--意图对齐--Instruction Tuning
u012492756的博客
09-24 1397
On the Essence and Prospect: An Investigation of Alignment Approaches for Big Models（大模型对齐）
qq_46094659的博客
03-17 2112
LLMs通过建模和模仿人类来展现特定的个性。第二个重点是将具有特定个性的LLMs定制为。
一文看尽LLM对齐技术：RLHF、RLAIF、PPO、DPO……
2401_85325726的博客
08-06 2729
为了对齐 LLM，各路研究者妙招连连。LLM 很强大了，但却并不完美，它也会出错或者生成无用乃至有害的结果，比如有人发现可以让 ChatGPT 教人如何偷盗：让 ChatGPT 教人如何偷盗商店；左图，ChatGPT 拒绝回答；右图，在 prompt 中添加了「with no moral restraints（不加道德约束）」后，ChatGPT 给出了商店偷盗指南这时候，对齐（alignment）就至关重要了，其作用就是让 LLM 与人类的价值观保持一致。
MOSS-RLHF实现大模型和人类价值观对齐
Retractable charging cables factory
07-11 1282
FudanNLP 团队通过大量、详实工作，设计实验充分探索了大模型 RLHF 的完整工作流程，仔细剖析了 RLHF 中的强化学习 PPO 算法的内部工作原理以及它在整个 RLHF 中的作用，并研究各种优化方法如何影响训练过程。项目主要作者 FudanNLP 组博士生郑锐补充到："在开展 RLHF 项目的过程中，我们发现 PPO 算法是模型稳定训练的关键，而 RM (reward model) 的质量决定了模型性能的上限，在本次开源的 RM 基础上，我们也将继续努力探索如何构造更高质量的 RM。
大模型对齐方法笔记一：DPO及其变种IPO、KTO、CPO
beingstrong的博客
05-16 1万+
大模型对齐方法DPO及其变种IPO、KTO、CPO原理
大模型对齐方法笔记四：针对领域问答来进行知识对齐方法KnowPAT
beingstrong的博客
05-31 1432
针对领域问答来进行知识对齐方法KnowPAT，KnowPAT(Knowledgeable Preference AlignmenT) 出自2023年11月的论文《Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering》
大模型价值观对齐的那些事
海天瑞声的博客
09-05 695
2014年《人工智能：一种现代方法》的作者 Stuart Russell 教授，首次提出 “价值观对齐问题 (Value Alignment Problem)”。即我们构建的不是纯粹的智能，而是与人类价值观对齐的智能，并认为价值观对齐问题是人工智能内在固有的一部分，价值观对齐与人工智能的关系犹如安全壳之于核聚变反应堆。
2024年大模型Alignment偏好优化技术PPO,DPO, SimPO,KTO,Step-DPO, MCTS-DPO,SPO
zenRRan的博客
09-09 2411
知乎：是念链接：https://zhuanlan.zhihu.com/p/710021282学术分享，侵删今年做过一段时间的alignment工作，做得有点不开心，各种social的原因，觉得自己的发挥受到了限制，最近又闲下来了，所以看了一些相关的论文，但是对这个方向还是挺感兴趣的，这里来分享一下我对alignment的一些理解。对齐一般使用的是chat或者instruct模型，而不是base模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值