【NeurIPS 2023】通过贝叶斯方法使语言模型与人类偏好相对齐

最新推荐文章于 2024-10-18 00:00:00 发布
最新推荐文章于 2024-10-18 00:00:00 发布
阅读量116 收藏
点赞数
文章标签： 语言模型 人工智能 机器学习 深度学习 自然语言处理
原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247617952&idx=4&sn=2b582543953a36a1442a7a531ac3f0d0&chksm=e9e0042bde978d3d2c1d9d335385729d4b295ce16861760109d5baf0993ed390160c289d54a1&scene=126&sessionid=0
版权

cbd3cca631fff3c8a39f0fe998f9da5f.png

来源：专知
本文为论文介绍，建议阅读5分钟
本文提出了一种新颖的方法，该方法采用贝叶斯框架来考虑人类偏好中不同意见的分布，并将其命名为d-PM。

3335b62cb9e23de212aa272b38771325.png

在推进以人为中心的自然语言生成（NLG）系统的征程中，确保NLG模型与人类偏好之间的对齐至关重要。为了达到这种对齐，当前流行的方法利用了一个基于人类反馈训练的奖励模型的强化学习（RL）方法。然而，由于人类偏好的主观性质导致的固有不同意见为训练奖励模型带来了巨大的挑战，导致NLG性能的下降。为了应对这个问题，之前的方法通常依赖于多数投票或平均来整合多个不一致的偏好。尽管这样的方法易于理解和执行，但它们无法捕捉到人们之间的微妙不同意见程度，可能只代表一小部分人，从而缺乏定量揭示人类偏好普遍性的能力。为了应对这一挑战，本文提出了一种新颖的方法，该方法采用贝叶斯框架来考虑人类偏好中不同意见的分布，并将其命名为d-PM。此外，考虑到RL策略在训练效率上的低效和复杂，我们进一步提议使用对比学习策略来训练NLG模型，该模型使用从d-PM模型得到的偏好分数。在两个以人为中心的NLG任务，即情感支持对话和完整性“经验法则”生成上的广泛实验表明，我们的方法在自动和人工评估中都一致超越了先前的SOTA模型。

https://www.zhuanzhi.ai/paper/66668c6091cb215ad2cf17cb2de71dd2

96c66c54f90426fa1b97db18fc4ac75c.png

087de6a05ad73ea0b35170e7a74091cd.png

数据派THU
关注
大语言模型原理与工程实践：AI系统如何实现真正的终身学习？
AI天才研究院
06-30 324
人工智能（AI）系统在许多领域取得了显著进展，但大多数AI模型在训练完成后就固定不变，难以适应新的知识和变化的环境。这与人类的学习过程形成鲜明对比，人类能够持续学习、更新知识，并将已有知识应用到新的领域。因此，如何使AI系统实现真正的终身学习，成为了AI研究中的一个重要挑战。实现AI系统真正的终身学习需要综合多种算法和技术。动态网络架构：允许网络结构随新任务动态调整。弹性权重整合：平衡新旧知识，避免灾难性遗忘。记忆重放机制：选择性回顾和重新学习重要经验。元学习框架：学习如何高效学习新任务。
大语言模型原理与工程实践：核心架构
AI天才研究院
09-06 768
大语言模型原理与工程实践：核心架构 1. 背景介绍 1.1 问题的由来 随着深度学习技术的发展，尤其是大规模数据集和算力的提升，大语言模型（Large Language Model，LLM）成为了自然语言处理（NLP）领域的一个重要突破。这些
基于表征工程的生成式语言大模型人类偏好对齐
zenRRan的博客
01-03 184
来自：复旦NLP最近复旦大学自然语言处理组郑骁庆和黄萱菁团队提出了基于表征工程（Representation Engineering）的生成式语言大模型人类偏好对齐方法RAHF（如图1所示），作为基于人类反馈的强化学习算法RLHF[1]的代替方法之一，其性能上超过其他现有的替代方案，媲美RLHF。实现较为简单，训练时对于硬件资源要求也相对较低。访问http://arxiv.org/abs/231...
大语言模型人类偏好对齐技术：基本原理和前沿研究（2024）
nihaomafb的博客
05-08 2501
本文对微调对齐相关研究工作进行深入调研，并结合自身近一年的微调对齐工作经验（部分），梳理和总结知识框架。
复旦发布层次性奖励学习框架，增强大模型人类偏好对齐
夕小瑶科技说
03-19 1007
在人工智能领域，强化学习（Reinforcement Learning, RL）一直是实现智能体自主学习的关键技术之一。通过与环境的交互，智能体能够自我优化其行为策略，以获得更多的奖励。然而，当涉及到复杂的人类偏好时，传统的强化学习方法面临着挑战。这些挑战主要源于，这使得智能体难以准确地对齐人类的期望。为了解决这一问题，研究者们提出了从人类反馈中学习的强化学习（Reinforcement Learning from Human Feedback, RLHF）方法。
伯克利最新研究揭示：如何“验证验证者”？LLM辅助评估与人类偏好更加对齐的新方法
math_bearrr的博客
04-21 978
EvalGen的用户界面设计注重简洁性和功能性，以支持用户高效地进行评估工作。界面包括几个主要部分：准则选择、断言生成与执行、以及评分和报告卡显示。用户首先在准则选择界面中定义和编辑评估标准，然后进入断言生成和执行界面，这里显示了对LLM输出执行断言的实时结果。评分界面提供了简单的好坏按钮，用户通过这些按钮对LLM的输出进行评价。系统根据用户的评分调整断言的选择和优化。
人类偏好优化算法
whaosoft143ai的博客
02-17 549
在这篇博客中，作者对三种优秀的 LLM 对齐算法进行了评估，分别是：直接偏好优化（DPO）、身份偏好优化（IPO）和 Taversky Optimisation 优化（KTO），并且在两个高质量的 7b 参数 大小的 LLM 上进行了实验。与基于强化学习的传统对齐方法不同，DPO 将对齐公式重新定义为一个简单的损失函数，该函数可以直接在偏好数据集｛（x，y_w，y_l）｝上进行优化，其中 x 是 prompt，y_w，y_l 分别是偏好的和非偏好的响应。MT-Bench 是衡量聊天模型功能的常见基准。
20篇NeurIPS论文精选：语言大模型的六大趋势
OneFlow深度学习框架
12-27 5862
本文总结了NeurIPS 2023大会上与自然语言处理相关的20篇精彩论文。通过这些论文，作者主要观察到了LLM的六个主要趋势，这些论文涉及重新思考LLM的基本假设，并为其内在运作提供了新的见解和观点。本文作者Sebastian Ruder是Google Research研究员，发表了多篇机器学习和自然语言处理领域的顶级论文。（以下内容由OneFlow编译发布，转载请联系授权。原文：https:/...
从零开始大模型开发与微调：基于深度学习的模型训练
AI天才研究院
06-29 325
随着深度学习的迅猛发展，大型神经网络模型在各种自然语言处理、图像识别、语音合成等场景下展现出卓越的能力。然而，这些模型往往需要庞大的数据集进行训练，并且对硬件资源有着较高的需求。对于开发者而言，如何有效利用现有的数据和计算资源，以及如何快速迭代并调整模型参数，成为亟待解决的问题。前向传播：用于计算输出值，涉及激活函数、权重矩阵乘积等。反向传播：用于更新权重，采用梯度下降或其他优化算法。损失函数：衡量模型预测与真实标签之间的差异。正则化：防止过拟合，常用的有L1、L2正则化。
通俗理解贝叶斯网络(BNN)
AI天才研究院
08-24 1244
本文的主要目的是为读者提供一个直观、易懂的贝叶斯网络(Bayesian Network, BNN)介绍。我们将从基本概念出发，逐步深入到实际应用，帮助读者建立对贝叶斯网络的全面认识。贝叶斯网络的基本概念和组成元素贝叶斯网络的工作原理和推理过程贝叶斯网络的构建方法和应用场景贝叶斯网络在实际问题中的应用示例贝叶斯网络的优势和局限性通过本文，读者将能够理解贝叶斯网络如何模拟复杂系统中的不确定性和因果关系，以及如何利用这一工具进行概率推理和决策支持。背景介绍：概述文章的目的、范围和预期读者。
对齐大型语言模型与人类偏好：通过表示工程实现
weixin_45785795的博客
01-23 1127
强化学习表现出相当复杂度、对超参数的敏感性、在训练过程中的不稳定性，并需要在奖励模型和价值网络中进行额外的训练，导致了较大的计算成本。为了解决RL方法带来的上述挑战，提出了几种计算上轻量级的替代方案，在这些替代方案中，两个突出的范例包括对比学习和Hindsight指令重新标记（HIR），然而，无奖励微调容易受到训练集中包含的偏好注释响应对的嘈杂数据或不正确标签的影响。
大语言模型原理基础与前沿 对齐语言模型与人类偏好
AI大模型应用之禅
05-30 1001
大语言模型原理基础与前沿 对齐语言模型与人类偏好 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 大语言模型的发展历程 1.1.1 早期语言模型
无需强化学习的与人类偏好对齐的语言模型：Wombat袋熊
数据派THU
04-18 176
本文约1200字，建议阅读5分钟 本文提出了基于排序的人类偏好对齐方法。OpenAI 的 ChatGPT 理解多种多样的的人类指令，并且可以很好的应对不同的语言任务需求。自发布以来就掀起了对于通用人工智能的讨论。ChatGPT 令人惊叹的能力来源于一种新颖的大规模语言模型微调方法：RLHF（通过强化学习对齐人类反馈）。RLHF 方法不同于以往传统的监督学习的微调方式，该方法首先让模型根据指令提示生...
DINO&DINO v2：颠覆自监督视觉特征表示学习
家鸽的代码屋
10-15 960
DINO系列学习总结
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1404
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
R2：RNN-心脏病预测
u012249506的博客
10-11 937
左图：训练与验证准确率训练集的准确率（蓝色线）：随着训练次数增加，呈现出平稳上升趋势，最终接近0.92左右，说明模型在训练数据上的拟合效果逐渐变好。验证集的准确率（橙色线）：一开始随着训练迭代次数增加，验证准确率也在提升，但在约20次迭代后，准确率趋于平稳，甚至有一些波动，特别在50次之后，表现出明显的下降和上升不稳定现象。右图：训练与验证损失训练集损失（蓝色线）：损失随着迭代次数逐渐下降，这表明模型在训练集上不断优化，误差减少。
新质技术之生成式AI、大模型、多模态技术开发与应用研修班
Lynn121的博客
10-17 352
在当前的科技飞速发展的时代，生成式人工智能、大模型、多模态技术的出现正为企业的数字化转型带来革命性变革。该研修班特别设计了为期四天的课程，从生成式AI的核心概念入手，逐步深入探讨大模型的应用开发以及多模态技术的集成运用。通过此次研修班，学员不仅能获得最新的AI技术知识，还能获得行业权威机构的职业技能认证，这将极大提升其在未来职场中的竞争力。本次研修班采取理论与实战相结合的培训模式，旨在让学员不仅能够全面掌握生成式AI、大模型和多模态技术的最新理论，还能通过实战练习，掌握将这些技术应用于实际业务。
使用OpenCV实现光流追踪
2401_84670644的博客
10-14 799
光流追踪是计算机视觉中一项重要的技术，它能够帮助我们理解图像中像素的运动。通过OpenCV库，我们可以方便地实现Lucas-Kanade光流追踪，并对视频中的特征点进行跟踪和可视化。希望本文和示例代码能够帮助你更好地理解光流追踪，并在实际项目中应用这一技术。
计算机毕业设计Python深度学习房价预测 房源可视化 房源爬虫 二手房可视化 二手房爬虫 递归决策树模型 机器学习 深度学习 大数据毕业设计
最新发布
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
10-18 327
计算机毕业设计Python深度学习房价预测 房源可视化 房源爬虫 二手房可视化 二手房爬虫 递归决策树模型 机器学习 深度学习 大数据毕业设计
贝叶斯公式与概率图模型：直观应用与推理方法
贝叶斯网络是一种概率图模型，通过有向无环图(DAG)表示变量之间的依赖关系和条件概率。它假设给定某个变量的父节点，该变量与其他非后代变量在该条件下是独立的，这被称为马尔科夫属性。贝叶斯网络具有多个显著的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值