ETH：通过文本反馈提高LLM对齐能力

于 2024-08-28 08:00:00 发布
阅读量248 收藏 9
点赞数 8
分类专栏： 大模型-模型训练 文章标签： 人工智能 自然语言处理 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46739757/article/details/141566953
版权

在这里插入图片描述

📖标题：Towards Aligning Language Models with Textual Feedback
🌐来源：arXiv, 2407.16970

🛎️文章简介

🔸研究问题：如何通过文本反馈来调整语言模型，使其生成更符合用户期望的行为。
🔸主要贡献：论文的提出了ALT，一种将语言模型与文本反馈对齐的方法，通过示例反馈来引导语言模型生成更符合用户偏好的内容。

📝重点思路

🔺相关工作

🔸对齐：此前的研究已成功利用RLHF来增强LLM的指令遵循能力，并提出离线训练、直接优化偏好目标或将问题视为条件序列决策等方案。
🔸奖励条件训练：最近的"逆强化学习"研究表明，强化学习问题是可逆的，即策略模型学会将高奖励映射到行动上。
🔸LLM可控生成：CTRL引入了可用于调节模型生成的控制代码

🔺论文方案

🔸ALT通过训练模型以适应文本反馈来适应奖励条件强化学习框架，包括数据收集和训练两个阶段。
🔸数据收集阶段，从模型中进行多次采样，并将文本反馈分配给采样结果。
🔸训练阶段，模型根据反馈，被训练生成出对应的采样结果。
🔸当模型被训练为以反馈为条件生成时，这些步骤会迭代重复。

🔎分析总结

🔸ALT可以有效地对齐模型以降低毒性，比其他方法更有效。
🔸ALT无论是在领域内还是领域外，均有效地降低模型毒性。
🔸ALT在保持较低困惑度的同时，能够更好地降低毒性。

💡个人观点

论文使用了文本反馈来引导语言模型生成更符合用户偏好的内容，而不是仅仅依赖数值化的奖励反馈。

附录

在这里插入图片描述
在这里插入图片描述

大模型任我行
关注
  • 8
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【搜索引擎原理与实战】全文搜索的原理与代码实例讲解
禅与计算机程序设计艺术
07-30 444
在当今信息爆炸的时代，快速准确地从海量数据中检索所需信息变得至关重要。全文搜索技术应运而生，成为现代搜索引擎的核心组成部分。无论是Google、百度这样的网络搜索巨头，还是企业内部的文档管理系统，全文搜索都扮演着不可或缺的角色。本文将深入探讨全文搜索的原理，并通过具体的代码实例，为读者展示如何实现一个基础的全文搜索引擎。全文搜索不同于传统的数据库检索，它能够对文本内容进行全面分析和索引，支持复杂的查询需求，如模糊匹配、多字段组合查询等。
对国内外开源大模型（LLM）较为全面的整理
2401_85325726的博客
08-02 392
CodeFuse-13B 是基于 GPT-NeoX 框架训练的 13B 参数代码生成模型，能够处理 4096 个字符的代码序列。该模型在 1000B Token 的代码、中文、英文数据数据集上进行预训练，覆盖超过 40 种编程语言。为了进一步提升生成代码的效果和质量，该模型还在CodeFuse-Evol-instruction-66k 数据集上进行了微调，使得该模型能够生成更加准确、高效、符合要求的代码。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.03.10-2024.03.15
小小帅
03-15 1745
因果推理通过捕捉变量之间的因果关系，在提高自然语言处理（NLP）模型的预测准确性、公平性、稳健性和可解释性方面显示出潜力。生成式大型语言模型（LLM）的出现极大地影响了各种 NLP 领域，尤其是通过其先进的推理能力。本调查侧重于从因果关系的角度评估和改进 LLM，主要涉及以下几个方面：了解和改进 LLM 的推理能力、解决 LLM 的公平性和安全性问题、用解释对 LLM 进行补充以及处理多模态问题。同时，LLMs 强大的推理能力反过来又能帮助因果关系的发现和因果效应的估计，从而为因果推理领域做出贡献。
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-27 3895
​ LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略 目录 Colossal-LLaMA-2的简介 Colossal-LLaMA-2的安装 Colossal-LLaMA-2的使用方法 Colossal-LLaMA-2的简介 2023年9月25日，Colossal-AI团队推出了开源模型Colossal-LLaMA-2-7B-base。这个模型是LLaMA-2的一个衍生版本，
人工智能-开源大语言模型完整列表
软件开发实战项目分享
06-11 473
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
OpenMoE：开放混合专家语言模型
yorkhunter的博客
06-17 1162
24年3月来自新加坡国立大学、英国爱丁堡大学和瑞士ETH的论文“OpenMoE: An Early Effort on Open Mixture-of-Experts Language Models”。
所有开源大语言模型完整列表（最全！！可部署，建议收藏）
weixin_74041379的博客
08-05 1195
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
盘点ACL 2024 角色扮演方向都发了啥
人工智能曾小健
07-28 924
研究者们设计了一个完整的训练流程，包括叙事链、自动戏剧生成和稀疏指令调整技术，以提高模型对复杂指令的跟随能力，并提出了一种基于五个维度的细致评估原则来全面评估戏剧LLM的性能。通过手工制作的三个剧本——《名侦探柯南》、《哈利波特》和《罗密欧与朱丽叶》——以及对这些剧本的实验，论文展示了戏剧LLM在沉浸式叙事方面的潜力，同时也指出了在模态丰富性、动作复杂性和评估方法上的局限性，并强调了持续研究的重要性。为了评估这个框架，创造了一个涉及几个演员代理的新颖的戏剧情节，并在导演代理的指导下检查他们之间的互动。
2024年7月26日Arxiv人工智能相关论文
数智笔记
07-26 306
传统的路线规划服务通常为所有驾驶员提供相同的路线，主要关注一些标准化因素，如行驶距离或时间，忽视了个体驾驶员的偏好。随着预计未来将出现自动驾驶车辆，这些车辆将依赖这些规划者决定的路线，有必要纳入每位驾驶员的具体偏好，确保个性化导航体验。在这项工作中，我们提出了一种基于图神经网络（GNNs）和深度强化学习（DRL）的新方法，旨在定制路线以适应个体偏好。通过分析个体驾驶员的历史轨迹，我们对其驾驶行为进行分类，并将其与相关道路属性联系起来，作为驾驶员偏好的指标。
如何添加删除子网卡eth0:1(linux案例)_2018_lcf
热门推荐
cbuy888的博客
06-10 1万+
这种方法实现了单网卡多ＩＰ，我的系统是centos7的，如何添加删除子网卡ＩＰ详细请看下面操作例子添加子网卡IP：ifconfig  ens3:1  192.168.0.100/24           ／／ens3是网卡配置名删除子网卡IP：ifconfig etns3:1 down  [root@pc66 ~]# ip a　　／／先查看自己本机网卡配置名...2: ens3: <BROA...
Bringing up interface eth0: Device eth0 does not seem to be present,delaying initialization
OH_ON的博客
11-07 1482
在复制虚拟机后，重启网络服务时报错，错误现象如下图： 复制虚拟机后，需要做的步骤： 1、在开机前先将mac地址自动生成，不能与之前的重复； 2、开机后，首先改网卡名：在/etc/udev/rules.d/70-persistent-net.rules中，将之前的eth0和eth1删除，将eth2和eth3分别改成eth0和eth1； 3、要想使网卡名生效，必须先将驱动模块卸载后重新
Linux-eth0 eth0:1 ifcfg-lo ifcfg-lo:0 和eth0.1关系、ifconfig以及虚拟IP实现介绍
weixin_30765475的博客
11-01 3063
eth0 eth0:1 和eth0.1三者的关系对应于物理网卡、子网卡、虚拟VLAN网卡的关系：物理网卡：物理网卡这里指的是服务器上实际的网络接口设备，这里我服务器上双网卡，在系统中看到的2个物理网卡分别对应是eth0和eth1这两个网络接口。子网卡：子网卡在这里并不是实际上的网络接口设备，但是可以作为网络接口在系统中出现，如eth0:1、eth1:2这种网络接口。它们必须要依赖于物理网卡，虽然...
[Ubuntu 20.04] 通过udev规则修改网卡名称（例如eth0）
Systemcall名屋
08-25 4155
在 Ubuntu 20.04 操作系统中，默认情况下，网卡接口名称采用了一种较为复杂的命名方式（如 enp0s3、eth0 等）。那么如何在 Ubuntu 20.04 中修改网卡接口的名称，以满足个性化需求。请注意，需要将 “” 替换为您实际网卡的物理地址（MAC 地址），“” 替换为您期望的新名称。在输出结果中，找到您要修改的网卡接口，并记录下其名称。确保您所要修改的网卡接口已经采用了您期望的新名称。步骤二：创建预设udev规则文件。步骤一：查看当前网卡接口名称。
Linux-eth0 eth0:1 和eth0.1关系、ifconfig以及虚拟IP实现介绍
weixin_33836223的博客
10-12 4312
eth0 eth0:1 和eth0.1三者的关系对应于物理网卡、子网卡、虚拟VLAN网卡的关系：物理网卡：物理网卡这里指的是服务器上实际的网络接口设备，这里我服务器上双网卡，在系统中看到的2个物理网卡分别对应是eth0和eth1这两个网络接口。 子网卡：子网卡在这里并不是实际上的网络接口设备，但是可以作为网络接口在系统中出现，如eth0:1、eth1:2这种网络接口。它们必须要依赖于物理网卡，虽...
Spark MLlib模型训练—分类算法Multinomial Logistic Regression
最新发布
08-27 262
多项逻辑回归（Multinomial Logistic Regression）是对二项逻辑回归（Binary Logistic Regression）的扩展，适用于多分类问题。当目标变量不再是二分类（如 0 或 1），而是多于两个类别（如 A, B, C），多项逻辑回归便成为了适用的选择。与二项逻辑回归类似，多项逻辑回归基于线性模型，但其核心区别在于输出类别不再局限于两个，而是扩展至多个。，模型预测的标签为 0，对应的概率为 0.876，表明该样本属于类别 0 的可能性最大。使得训练数据的似然最大。
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 1749
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 894
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
透明性和解释性AI：概念与应用
weixin_49007164的博客
08-25 1093
透明性AI指的是AI系统的操作过程、决策机制、数据流动和模型行为是可理解和可追踪的。换句话说，透明性AI使得人们可以清楚地看到AI系统是如何做出决策的，这一过程包括输入数据的处理方式、模型的内部计算过程、以及最终决策的产生机制。解释性AI是指AI系统不仅能够给出决策结果，还能够提供关于该决策如何产生的解释。解释性AI的目标是帮助用户理解AI的行为，尤其是当AI的决策与预期不符时，提供合理的解释来消除用户的疑虑。
Protocols in frame: eth:ethertype:ip:icmp:data
05-24
这是一个网络数据包的协议栈，其中包含了以下协议： - Ethernet (eth)：数据链路层协议，用于在本地网络中传输数据帧。 - Ethertype：以太网类型，用于标识上层协议类型，例如IP、ARP等。 - IP：网络层协议，用于在网络中传输数据包。 - ICMP：Internet控制报文协议，用于在IP网络中传递控制消息。 - Data：应用层数据，例如HTTP请求或DNS查询等。 在这个协议栈中，数据从应用层开始，逐层封装，最终被发送到物理层进行传输。当数据到达接收端时，它会被一层一层地解封，直到应用层可以读取数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大模型任我行

随意啦，喜欢就好~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值