Alignment下一站：合成数据

最新推荐文章于 2024-09-15 15:29:29 发布
最新推荐文章于 2024-09-15 15:29:29 发布
阅读量841 收藏 16
点赞数 28
文章标签： 人工智能 机器学习 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37310036/article/details/141219435
版权

卷友们好，我是rumor。

大模型训练中，数据质量已经是所有人的共识了。在23年开始接触Alignment之后，我一直是人工标注流派，深信InstructGPT[1]中所描述的，先train好标注员，再train好模型。那时候各个模型的质量也都一般，合成的数据一眼就能挑到一堆毛病。

事情的转折要从sora开始，了解到那么好的效果居然大量应用了合成数据之后，我开始意识到自己还停留在上一个时代。首先大模型的能力是一直在提升的，去年还被狂吹的GPT3.5现在已经被甩了几条街了，大模型在很多任务上都可以达到人类标注员的水平；其次在大模型时代，应该多去发掘模型的价值，学会和AI协作，而不是上来就先验地觉得模型生成的数据质量不过关。

随着业内模型能力和使用熟练度的整体提升，今年数据合成的工作一波又一波，数据合成的前景非常客观：

  1. 合成Prompt：GPT系列相比竞品的一个显著优势是数据飞轮，有源源不断的用户输入。合成的Prompt则可以补足多样性上的缺陷，今年Nemotron[2]、Llama3[3]的技术报告中都有跑通他们自己的飞轮

  2. 合成Pair对：RLHF阶段由于会hack RM或者依赖人工标注的Pair对，一直很难scale up起来，而当LLM-as-Judge的方式达到一定精度时，模型就可以进行self-play，不断判别->训练，用左脚踩右脚的方式提升效果

指令合成

Prompt数据需要兼具多样性和复杂度。

对于多样性，最常见的方法是人工制定一个类目体系，比如最早的Self-Instruct[4]，有175个种子任务，每个任务配一个指令和例子让模型进行合成：

5a15bb55f5f6911e0ddfa545b0a49e5b.png
Self-Instruct

Nemotron-4也采用了类似的做法，分了4个大任务：OpenQA、Writing、Closed QA、Math&Coding。对于每类任务，以多个主题词和关键词作为种子。

但人工指定 or 统计出的任务仍会有一定局限性，因此更好的方法是让模型生成任务。近期腾讯一篇工作Persona-Hub[5]就非常巧妙，从Web文本中提取出10亿的人物描述，再让模型以不同人物的口吻去生成问题，多样性直接拉满。

34d9f8f97715fdbe14988f1665d202df.png
Persona-Hub

还有一种比较tricky的，直接诈出某个对齐后模型的训练数据，比如Magpie[6]，只输入前缀USER，让模型自己把问题生成出来：

19ed75d6a990985bf88335645aecfc56.png
Magpie

最后，Doc2Query也能生成多样性较高的问题，但有一定局限性，更多用于知识类Query的合成。

对于复杂度，做法跟多样性差不多，需要定义出多种约束标签，再不断去改写Prompt增加其复杂度。比如很经典的WizardLM[7]，定义了几个不同的改写操作：add constraints、deepening、concretizing、increase reasoning steps、 complicate input，让指令的复杂度不断增加。

5574c9feebcf387fc48525c8da19d89e.png
WizardLM

还有一种方法是量化模型生成结果复杂度，从而训一个能生成复杂Query的模型。例如我们近期在安全领域的工作SEAS[8]，就构造了一个对抗攻击的场景：

5273b720027319ae80561f33c668f462.png
SEAS

如上图，该框架分为三个阶段：

  1. 初始化：用少量的数据，精调一个攻击模型R（负责生成有害问题）和一个目标模型T（最终要被优化安全能力的模型）

  2. 攻击阶段：模型R生成多条有害样本，T针对每个问题生成多个答案，利用Llama guard作为打分器，如果攻击成功，则该Query作为模型R的chosen，否则为rejected。如果攻击失败，则该Response作为模型T的chosen，否做为rejected

  3. 优化阶段：利用第二步构造的DPO数据迭代模型R和模型T

通过上面的2、3步骤多轮迭代，模型R生成的攻击问题越来越强，模型T的安全能力也随之提升，R对T的攻击成功率如下：

1fce18cda14e63b0fbe4c925d3259148.png
SEAS攻击成功率

监督信号合成

相比Prompt合成，Pair的合成会更难一些，Prompt即使质量一般，只要用较好的模型生成Response和较强的基座，也能学得还行，但如果Pair不准确，RM/PPO或者DPO直接就学偏了。

最直接的方法就是LLM-as-Judge，用模型打分或排序。Meta今年发表过一篇Self-Rewarding[9]的工作非常赞且优雅：

551d31ebd3391a46b72fd8eb1620c66a.png
Self-Rewarding

直接用当前模型T生成答案->给自己打分->做成DPO数据训练模型T+1，形成了一个self-play的闭环。在模型生成能力不断提升的同时，判别能力（Pairwise acc）也在提升：

6b250f6c7011d03126320f896f3a7f8f.png
Self-Rewarding判别效果

但可以看到后期的acc增长放缓，不知道模型最远能跑多少轮。

如果担心LLM-as-Judge的准确率不够高，可以使用约束更强的Instruction来提升模型判别的准确率，比如阿里的工作AutoIF[10]，就让模型自己写代码来验证结果的正确性：

d72769f32933921461be3ac2f8a8cda6.png
AutoIF

还有一种方法是想办法让模型做答案固定的任务，接近传统游戏RL，比如腾讯的工作SPAG[11]中，就制定了一个游戏规则：

  1. 攻方需要让守方无意识地说出某个词

  2. 守方需要推理出攻方的词

487849e2ce8c37a1b0dff4bf41bea193.png
SPAG

在这样的框架下，判断最终结果的难度极大降低，作者也利用这类数据提升了模型的逻辑推理能力。

总结

从上述各方的工作来看，大模型Alignment阶段可以有3个飞轮：

  1. 预训练基座驱动：由于weak-to-strong，使用同一份对齐数据的情况下，更强基座可以带来更强的对齐模型

  2. 数据驱动：即使基座模型不变，一份数据训出对齐模型后，可以利用数据合成方法生产更好的数据，训出更好的对齐模型

  3. 对齐模型驱动：进行Iterative-SFT/RLHF，得到模型T后搭配产生新的数据，再训练出模型T+1，让对齐过程scale up

第1个飞轮比较容易跑通，但2、3叠加起来的飞轮最远能跑到哪里，还挺让人期待的。

参考资料

[1]

Training language models to follow instructions with human feedback: https://arxiv.org/abs/2203.02155

[2]

Nemotron-4 340B Technical Report: https://arxiv.org/abs/2406.11704

[3]

The Llama 3 Herd of Models: https://arxiv.org/abs/2407.21783

[4]

SELF-INSTRUCT: Aligning Language Models with Self-Generated Instructions: https://arxiv.org/abs/2212.10560

[5]

Scaling Synthetic Data Creation with 1,000,000,000 Personas: https://arxiv.org/pdf/2406.20094

[6]

MAGPIE: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing: https://arxiv.org/abs/2406.08464

[7]

WizardLM: Empowering Large Language Models to Follow Complex Instructions: https://arxiv.org/abs/2304.12244

[8]

SEAS-Self-Evolving Adversarial Safety Optimization for Large Language Models: https://arxiv.org/abs/2408.02632

[9]

Self-Rewarding Language Models: https://arxiv.org/abs/2401.10020

[10]

Self-play with Execution Feedback: Improving Instruction-following Capabilities of Large Language Models: https://arxiv.org/abs/2406.13542

[11]

Self-playing Adversarial Language Game Enhances LLM Reasoning: https://arxiv.org/abs/2404.10642

cc83b189ad0a7b5721df5b3e16edc0cd.jpeg

我是朋克又极客的AI算法小姐姐rumor

北航本硕，NLP算法工程师，谷歌开发者专家

欢迎关注我，带你学习带你肝

一起在人工智能时代旋转跳跃眨巴眼

李rumor
关注
WildGuard：LLM安全风险、一站式审核工具
步子哥的博客
06-28 650
虽然现有的开源工具可以在一定程度上识别响应中的有害内容，但仅凭响应的有害性不足以确定模型是否拒绝了用户的请求。在开源工具中，我们测试了四个模型，旨在识别提示和响应中的有害性：Llama-Guard[17]，Llama-Guard2[26]，Aegis-Guard-Defensive[14]和Aegis-Guard-Permissive[14]。我们生成了覆盖广泛风险场景的有害提示，并引入了两种类型的良性对比提示：1）表面上类似不安全提示的良性提示，以及2）讨论敏感但安全话题的良性提示。
航行在水域：使用数据湖构建生产级 RAG 应用程序
MinIO
06-21 1012
在 2024 年年中，创建一个令人印象深刻和兴奋的 AI 演示可能很容易。需要一个强大的开发人员，一些聪明的提示实验，以及一些对强大基础模型的API调用，你通常可以在一个下午建立一个定制的AI机器人。添加一个像 langchain 或 llamaindex 这样的库，使用 RAG 来增强您的LLM一些自定义数据 - 一个下午的工作可能会变成一个周末项目。然而，投入生产是另一回事。您将需要一个可靠、可观察、可调和高性能的大规模系统。
C/C++数据结构课程设计安排
程序设计
10-31 5042
数据结构课程设计安排课程设计学时：32学时课程设计目的：综合应用数据结构课程中所学的数据结构：线性表、栈、队列、数组、广义表、树、二叉树、图、查找表中的一种或多种数据结构完成一个较大问题的求解（其实这里的问题也并不太大，所用的数据结构可能是其中的多个，也可能是其中的一个两个）。从而培养学生综合应用基本数据结构分析、解决实际问题的能力，并进一步加深对所学知识的理解和掌握。课程设计要求：1、课程设计以组为单位开展，每组2~4名同学，自由组合，确定组长一名。
TGRS2022/云检测：Unsupervised Domain Adaptation for Cloud Detection Based on Grouped Features Alignment
ssshyeong的博客
07-11 1288
我们提出了一种无监督域自适应（UDA）方法，将源卫星标记图像上训练的模型推广到目标卫星的未标记图像。为了有效解决跨卫星图像的域偏移问题，我们开发了一种新的基于分组特征对齐（GFA）和熵最小化（EM）的UDA方法来提取域不变表示，以提高跨卫星图像的云检测精度。拟议的UDA方法在“Landsat-8→ ZY-3”“和”GF-1→ ZY-3“域适应任务上进行了评估。实验结果证明了我们的方法对现有最先进的UDA方法的有效性。...
NLP深入学习：《A Survey of Large Language Models》详细学习（二）
日常学习与专研的记录
02-06 1069
本文主要讲解 LLMs 相关资源，包含公开模型、API、预训练的数据集以及微调的数据集。
翻译: 深入神经网络概览Dive into Deep Learning
AI架构师易筋
03-07 3392
1. 简介 直到最近，我们每天与之交互的几乎所有计算机程序都是由软件开发人员根据第一原理编码的。假设我们想编写一个应用程序来管理一个电子商务平台。在围着白板花了几个小时思考这个问题之后，我们会想出一个可行的解决方案的大致思路，可能看起来像这样： (i) 用户通过在 Web 浏览器中运行的界面与应用程序交互或移动应用程序； (ii) 我们的应用程序与商业级数据库引擎交互，以跟踪每个用户的状态并维护历史交易记录； (iii) 在我们应用程序的核心，业务逻辑（你可能会说，大脑) 我们的应用程序有条不紊地详细说明
VITS 模型详解与公式推导：基于条件变分自编码器和对抗学习的端到端语音合成模型
m0_56942491的博客
03-07 4524
既然是从低维重构原始图像不太行，那如果将隐变量维度取输入维度一样大小呢？似乎还不够，因为标准的 VAE 将后验分布也假设为高斯分布，这限制了模型的表达能力。事实上，人们猜测，由于高斯分布簇只是众多可能的后验分布中极小的一部分，如果后验分布的性质与高斯分布差很远，那么拟合效果就会很糟糕。因此，人们想到了另一个模型：Flow。流模型通过一系列耦合层，可以将复杂的输入分布转化为高斯分布，这样的过程可逆，雅可比矩阵行列式也容易计算，那么我们就可以使用流模型，将原本过于简单的高斯分布变为更加复杂的分布，从而提高其表达
【实体对齐综述】A Benchmarking Study of Embedding-based Entity Alignment for Knowledge Graphs
boywaiter的专栏
06-07 1804
实体对齐试图在不同的知识图谱 (KG) 中找到指向同一现实世界对象的实体。KG 嵌入的最新进展推动了基于嵌入的实体对齐方法的出现，它将实体编码到连续嵌入空间中，并根据学习到的嵌入来度量实体的相似性。在本文中，我们对这一新兴领域进行了全面的实验研究。......
Google新作synthesizer：Rethinking Self-Attention in Transformer Models
ljp1919的专栏
07-19 1007
0. 背景 机构：Google Research 作者：Yi Tay, Dara Bahri, Donald Metzler, Da-Cheng Juan, Zhe Zhao, Che Zheng 论文地址：https://arxiv.org/abs/2005.00743 0.1 摘要 以当下基于Transformer的各种先进模型来看，使用点积自注意力（dot product self-attention）是至关重要且不可或缺的。但，事实真的如此吗，没有点积自注意力就会不香吗？点积自注意力是否真的不可替代
语义分割任务中的无监督域自适应：跨域调整结构信息以提高分割性能
我们解决了语义分割任务的无监督域自适应问题，我们试图将在具有地面真实标签的合成数据集上学到的知识转移到没有任何注释的真实图像上。基于图像的结构内容是语义分割中最重要和最具决定性的信息，并且可以跨领域...
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7174
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
人脸口罩数据集的模型训练以及戴口罩识别检测
热门推荐
zjc
07-06 1万+
人脸口罩数据集的模型训练以及戴口罩识别检测一.理解人脸图像特征的各种方法HOG特征的提取与计算步骤Dlib人脸特征检测原理（1）提取特征点（2）获取特征数据集写入csv（3）计算特征数据集的欧氏距离作对比二、人脸口罩数据集的下载及处理三、摄像头采集自己人脸、并对表情作出判断。 一.理解人脸图像特征的各种方法 1）方向梯度直方图 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局
OpenAI如何让ChatGPT遵守了伦理道德的底线
Criss@陈磊
05-29 2791
AI的伦理道德是探讨AI带来的伦理道德问题及风险、研究解决AI伦理问题、促进AI向善、引领人工智能健康发展的一个多学科研究领域。AI的伦理领域所涉及的内容非常丰富，是一个哲学、计算机科学、法律、经济等学科交汇碰撞的领域。
SRT3D: A Sparse Region-Based 3D Object Tracking Approach for the Real World
weixin_45834800的博客
09-13 1042
基于区域的方法在基于模型的单目3D跟踪无纹理物体的复杂场景中变得越来越流行。然而，尽管它们能够实现最先进的结果，大多数方法的计算开销很大，需要大量资源来实时运行。在下文中，我们基于之前的工作，开发了SRT3D，这是一种稀疏的基于区域的3D物体跟踪方法，旨在弥合效率上的差距。我们的方法在所谓的对应线（这些线模型化了物体轮廓位置的概率）上稀疏地考虑图像信息。由此，我们改进了当前的技术，并引入了考虑定义的全局和局部不确定性的平滑阶跃函数。对于所得到的概率公式，提供了详尽的分析。
【AI大模型】Kimi API大模型接口实现
最新发布
qq_25888559的博客
09-15 846
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 1136
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
车辆检测与分类系统源码分享
xuehaikj的博客
09-13 1422
数据集信息展示在本研究中，我们采用了名为“comexit”的数据集，以支持对YOLOv8模型在车辆检测与分类任务中的改进。该数据集专注于交通工具的识别，特别是公共交通和货运车辆，具有明确的应用背景和实用价值。数据集的类别数量为三，具体包括“bus”（公交车）、“car”（小汽车）和“truck”（卡车）。这三类车辆在城市交通和物流系统中扮演着重要角色，因此，准确的检测与分类对于交通管理、智能交通系统以及自动驾驶技术的发展具有重要意义。
怎么调用let style = { alignment: { horizontal: 'center' }};
06-03
这个代码片段是JavaScript中的对象字面量，它定义了一个名为“style”的对象，其中包含一个名为“alignment”的属性，它又包含一个名为“horizontal”的属性，值为“center”。 如果你想在HTML页面中应用这个对象定义的样式，可以使用CSS样式表的方式来实现。具体来说，可以在<head>标签中添加一个<style>标签，然后使用类选择器来将这个样式应用到希望改变文本水平对齐方式的HTML元素上。 例如，以下是一个使用上面定义的样式的HTML代码片段： ``` <head> <style> .centered { text-align: center; } </style> </head> <body> <div class="centered" style="text-align: {{ style.alignment.horizontal }};"> <p>这是一段居中对齐的文本。</p> </div> </body> ``` 在这个代码片段中，我们首先定义了一个名为“centered”的CSS类，它将文本水平对齐方式设置为居中。然后，在一个<div>元素中应用了这个类，并使用内联样式将文本水平对齐方式设置为“center”。 注意，在内联样式中，我们使用了双大括号来包裹JavaScript表达式，这样可以将JavaScript代码嵌入到HTML中，并动态地生成样式。具体来说，这里使用了{{ style.alignment.horizontal }}来获取JavaScript对象中的属性值，并将其设置为文本的水平对齐方式。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值