LLM对齐经验之数据越少越好？

已于 2024-08-23 17:08:26 修改
阅读量990 收藏 19
点赞数 26
文章标签： 人工智能 前端框架 大模型
于 2024-02-18 09:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81887304/article/details/136135340
版权

LIMA

  • 论文：LIMA: Less Is More for Alignment
  • 要点：人工构建1K高质量样本用于对齐，高质量主要指输出的风格一致性，以及输入的多样性

LIMA是比较早提出Quality Over Quantity观点的论文。论文提出一个假设是模型的知识和能力几乎全部是预训练阶段注入的。而指令微调阶段的对齐只是学习和人类交互的回答形式。因此一个输入多样，输出形式一致的高质量指令数据集能帮模型快速学到回答形式。

指令数据集的构建方式是人工从Stack Exchange， wikiHow和Reddit里面分类筛选更高质量的问题和回答，来构建指令样本集。我们具体说下Stack Exchange样本的构建，其他两个思路是一致的

  1. 分类采样: 为了保证多样性，把Stack的分成75个科学类别和99个其他类别，从每个类别中采样200个问题
  2. 筛选：为了保证质量，在以上每个类别中筛选问题评分最高的，再筛选该问题中回答得分最高的
  3. 过滤：为了保证输出的一致性，过滤太长(4096字符)/太短（1200字符）的回答，过滤以第一人称回答，或者引用了其他回答的内容。以及对内容进行清洗只保留代码和文本部分。
  4. 样本构建：随机使用问题的标题或者描述作为输入，使用回答做为输出。

除了使用已有的QA数据，几位作者还人工构建了200条基于个人偏好随机创建的prompt，以及编写的回答，在回答编写过程中核心是注意回答风格的一致性。重要的事情说三遍，一致性，一致性，一致性。论文反复强调一致的回答风格可以加速模型收敛。

论文使用的是65B的LLAMA模型，1000条样本，微调了15个epoch，lr=1e-5, batch=32, max_seq_len =2048。最终是人工在验证集打分上，选择了5-10个epoch之间的checkpoint。

论文针对数据集的质量，数量和多样性进行了消融实验，如下图

img

  • 多样性：相似质量和数量，输入指令多样性更高的stack exchange的效果优于输入相对单一的wikiHow数据集
  • 质量：同等量级上过滤后质量更高的stack Exchange数据集微调的效果更好
  • 数量：从质量过滤后单一的stack exchange中采样更高量级的训练样本，并不能显著带来效果提升。之前公认的样本数量越多越好，可能更多是数量提升带来的指令多样性提升。

当然论文选择的样本数本身并无非常大的参考意义，因为这个选择的基座模型，模型大小，数据本身的多样性都相关，所以需要具体模型具体分析。

ALPAGASUS

  • 论文：AlpaGasus: Training A Better Alpaca with Fewer Data
  • 代码：https://lichang-chen.github.io/AlpaGasus/
  • 数据: https://github.com/gururise/AlpacaDataCleaned/
  • 要点：模型自动化筛选高质量指令微调样本

论文起名终于从和动物纠缠不清，到开始上天入地，模型起名AlpaGasus=Alpaca+Pegasus，故名飞天羊驼，哈哈最近总会让人不由自主想到飞天茅台

image.png

对比LIMA，ALPAGASUS没有对什么是高质量进行很明确的定义，但是提出了自动化样本过滤的方案，成本更低，更简单粗暴。从原始52K的ALPACA样本中使用大模型自动筛选高质量的9K样本进行模型微调。

论文在以下4个测试集上进行评估，使用GPT-4给原始Alpaca和飞天羊驼进行偏好打分，胜率如下，在不同量级的训练样本上，飞天羊驼以80%+的胜率超越Alpaca，当训练样本在9K左右的时候，胜率最高~

img

自动样本过滤机制比较简单，就是使用如下Prompt，让Chatgpt给(instruction, input, response)的三元组样本进行打分，并根据最终的打分分布，选定4.5分作为阈值，筛选打分>4.5的9K样本用于下游模型微调。

img

论文还进行了消融实验，对比了不同的筛选阈值得到的不同训练样本量的影响，3k/6k/9k中9K的样本量级，模型效果最好，但超过后模型效果会有下降。延伸下大概就是高质量的数据越多越好，但低质量的数据越少越好。同时对比了随机采样9K作为作为对照组，效果是显著差于使用模型打分筛选出的9K样本。

自动化数据筛选看起来非常美好且梦幻，但笔者本人有一个疑问，论文使用chatgpt来筛选样本，又用GPT4作为评估，是否会引入bias，这个bias主要来自chatgpt和gpt4相对一致的偏好。这一点除非引入人工评估，或者多个大模型例如Claude之类同时进行最终的评估打分，否则个人感觉可能出现妈妈看自己的孩子咋看都好看的情况…

LTD

  • 论文：Maybe Only 0.5% Data is Needed: A Preliminary Exploration of Low Training Data Instruction Tuning
  • 要点：聚类过滤相似度高的样本，筛选多样性样本用于对齐

LTD的样本筛选中心放在多样性，在任务微调上只使用0.5%的训练样本，还比原有效果提升了2%。论文对多样性给出了更形象的描述就是用最少的样本，去近似刻画当前全部指令集的空间分布。这么一描述，其实答案已经呼之欲出了，跑不了cluster，KNN，k-center这些方案，论文实现如下

img

具体分成3个步骤

  1. Sample embedding: 把指令样向量化，这里论文是把指令+回答一同输入BERT模型进行编码，并且做了l2正则化，这样后续聚类计算距离就可以直接使用cosine距离
  2. Clustering：作者使用K-Means对所有指令样本进行聚类，不过个人更偏好aggolomerative clustering,毕竟k-means是密度聚类，而层次聚类是基于距离的，在文本聚类中距离是有明确含义的，可以更好保证不同cluster直接的粒度相对一致
  3. Corest Sampling：基于聚类结果选择有代表性的样本来构建指令集。我本以为论文会直接从每个cluster动进行随机采样，意料之外的是论文采用了贪心的K-center算法来选取更有代表性的数据点，算法如下。目标是找到K的中心点，使得所有点到距离最近的中心点的距离之和最小化。实现是先用聚类中心点作为起始中心点，遍历所有其他点找到离所有起始点距离最远的点，把这个点也加入中心点，然后多次重复以上过程。

img

除了以上介绍的论文之外，还有几篇论文思想也或有相似，包括以下Reference中的

  • InstructionGPT-4：把多样性和质量进行综合打分的多模态微调模型
  • Instruction Minning： 使用指令评估集推理Loss来对指令数据进行高质量筛选的
  • Polite Flamingo：通过改写和重构构建高质量多模态模型输出数据
  • Textbooks：编程任务上构建教科书级别质量的预训练数据，和对应的习题集数据用于微调效果显著超越StarCoder

话接上文的指令微调的样本优化方案，上一章是通过多样性筛选和质量过滤，对样本量进行缩减，主打经济实惠。这一章是通过扩写，改写，以及回译等半监督样本挖掘方案对种子样本进行扩充，提高种子指令样本的多样性和复杂度，这里我们分别介绍Microsoft，Meta和IBM提出的三个方案。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

人工智能MOS
关注
纯干货！一文带你了解大模型(LLMs)对齐，非常详细~
人工智能曾小健
11-04 1万+
但我们距离真正解决这两个问题仍然十分遥远。一些更细致的问题，需要更多更深入的研究来回答，例如：如何以一种更好的形式和过程来表达人类偏好？如何选择学习策略的范式？如何评估更复杂，甚至是能力超过人类的 AI 系统？目前已经有一些研究在致力于解决其中的一些问题，例如，偏好学习 (Preference Learning) 作为建模用户偏好的有效技术，被认为是现阶段策略学习以及构建代理的一个有希望的研究方向。
LLM 大模型学习必知必会系列(五)：数据预处理(Tokenizer分词器)、模板（Template）设计以及LLM技术选型
丨汀、的博客
05-21 968
LLM 大模型学习必知必会系列(五)：数据预处理(Tokenizer分词器)、模板（Template）设计以及LLM技术选型
（2024，MLLM，视觉语言模型，用于模态对齐的部分 LoRA）InternLM-XComposer2
qq_44681809的博客
01-30 1386
本文介绍 InternLM-XComposer2，用于自由形式文本-图像组合和理解的视觉语言模型。它提出 PLoRA，将额外的 LoRA 参数应用于图像 token， 以保持预训练语言知识的完整性，权衡精确视觉理解和文学文本组合。
LLM自动化对齐技术
产品老A，6年互联网大厂AIPM，专注探索新型人机交互
06-12 893
近年来，大语言模型（LLMs）的快速发展，极大地重塑了人工智能的格局。一致性是塑造与人类意图和价值观相对应的LLMs行为的核心，例如，教导LLMs遵循响应过程中“有帮助（Helpful）、无害(Harmless）和诚实 (Honest)”的原则（称为“3H原则”）。因此，为了满足人类的需求，LLMs必须“与人类对齐（Alignment）”，这也使得RLHF成为LLM的热点研究方向。
从零训练一个多模态LLM：预训练+指令微调+对齐+融合多模态+链接外部系统
zenRRan的博客
07-22 2114
深度学习自然语言处理 分享知乎：逃脱鱼子酱进NLP群—>加入NLP交流群本文尝试梳理一个完整的多模态LLM的训练流程。包括模型结构选择、数据预处理、模型预训练、指令微调、对齐、融合多模态以及链接外部系统等环节。一、准备阶段1 模型结构目前主要有三种模型架构，基于Transformer解码器，基于General Language Model，以及混合专家模型。这一步可以直接选择开源的的基座模型...
[算法前沿]--002-ChatGPT对安全的影响和开源的LLM大模型资源汇总
04-15 3847
从攻防的角度看，是通过防御和反制攻击来保护数据的安全性，其价值在于保护组织的敏感信息和知识产权，减少业务中断和损失，并维护组织的声誉。Chat GPT是生成式人工智能的开山之作，出道即巅峰，是继PC互联网、移动互联网之后又一次革命性创新，其创新性在于突破之前决策式AI基于规则的算法模型框架，跳出之前“数据搬运工”的传统模式，即在海量数据中寻找符合规则策略的数据，经过比对计算，基于当前的环境、条件和状态，准确的找到符合条件的数据，一步一步的走向算法和程序的终点，得出一个确定的决策。
LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
丨汀、的博客
05-22 609
LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
LLM技术发展及在垂直领域中如何应用-经验学习大全
weixin_44077556的博客
07-24 9673
语言建模（LM)是提高机器语言智能的主要方法之一。一般来说，LM旨在对词序列的生成概率进行建模，以预测未来tokens的概率。: 起源于 20世纪90年代。其基本思想是基于马尔可夫假设建立词预测模型，由于需要估计指数级数量的转换概率，因此很难准确估计高阶语言模型。因此需要专门设计平滑策略，如回退估计和古德图灵估计被引入以缓解数据稀疏问题。: 通过神经网络，如循环神经网络（RNN）,来描述单词序列 的概率。作为一个显著贡献。工作引入了词的分布式表示这一概念，并在聚合上下文特征的条件下构建词预测函数。
LLM大模型综述
热门推荐
zh515858237的专栏
01-10 2万+
LLM其实就是large language model，大语言模型。如果对“最终任务”进一步进行分类，又大致可以分为两大不同类型的任务：自然语言理解类任务和自然语言生成类任务。如果排除掉“中间任务”的话，典型的自然语言理解类任务包括文本分类、句子关系判断、情感倾向判断等，这种任务本质上都是分类任务，就是说输入一个句子（文章），或者两个句子，模型参考所有输入内容，最后给出属于哪个类别的判断。自然语言生成也包含很多NLP研究子方向，比如聊天机器人、机器翻译、文本摘要、问答系统等。
CV算法工程师的LLM日志（3）LLM偏好对齐训练技术——ORPO【全网首发：15分钟代码和原理速通】
啥都会一点的小程的博客
04-07 3356
ORPO作为新的一种人类偏好对齐训练方法，来看看与现在流行的DPO有何区别，15分钟速通
IBM也下场LLM了，自对齐、高效率的单峰驼Dromedary来了
05-12 594
最近的人工智能助手（AI-assistant agents），如 ChatGPT，主要依靠对人工注释的监督微调和从人类反馈中进行强化学习，以使大型语言模型 （LLM） 的输出与人类意图保持一致，确保它们是有用的、合乎道德的和可靠的。然而，由于获得人工监督的高成本以及质量、可靠性、多样性、自洽性和不良偏见的相关问题，这种依赖性会严重限制人工智能助手（AI-assistant agents）的真正潜力。
LLM对齐方案再升级
2301_81888214的博客
01-05 1144
在SFT的样本构建中，论文使用了不同的Prompt来区分样本是来自人工标注的种子集，还是来自机器生成的扩展集，前者的prompt=“Answer in the style of an AI Assistant，后者的prompt=Answer with knowledge from web search，从而降低样本间不同回答format带来的模型学习混淆。深度改写把指令改写的更加复杂，包括加入限制条件，指令复杂化，指令具象化，增加推理步骤，输入复杂化等5种类型的指令。然后再使用生成的样本进一步微调模型。
别浪费你的显存了！LLM偏好对齐的正确打开方式
kiiy2的博客
08-08 993
这让在同样的数据长度下训练更大尺寸的模型或是在相同尺寸的模型下训练更长的偏好文本成为了可能。这就不得不提到大语言模型中常用的数据拼接（pack）技巧，数据拼接通过将不同的序列拼接为一个一维序列作为模型的输入，从而避免的组 batch 时的 padding，这样的训练方式在预训练与 SFT 中已经广泛使用。**我们通过给模型打补丁的方式，魔改了模型中注意力层的计算过程，利用 flash attention 提供的变长注意力接口，我们成功让 HuggingFace 格式的语言模型支持了偏好数据的拼接训练。
数据规模缩小 200 倍！指令微调高效指导大模型学习
夕小瑶科技说
05-22 2834
大模型由于其参数多且复杂，在实际应用中普遍存在训练时间长、计算资源耗费大等问题。为了提高模型的训练和推理效率，需要对模型进行指令微调。指令微调（Instruction tuning）是指在少量数据或有限数据条件下，从已有数据中识别出最有价值的核心样本，并通过微调模型的指令来帮助模型获取下游任务的知识，从而实现可比甚至更好的性能。
谈谈NLP中 大语言模型LLM的 思维链 Chain-of-Thought(CoT)
Neleuska的博客
07-03 5749
NLP、大语言模型LLM、思维链、CoT
Prompt输出限制怎么写？用CCoT限制输出长度的推理，大幅提高LLM准确性
最新发布
python12345_的博客
09-25 897
图片由修猫创作一项由意大利比萨的著名高等教育和研究机构圣安娜高等学校Sania Nayab等人进行的研究为这个问题提供了一个创新的解决方案- Constrained Chain-of-Thought (CCoT)提示技术。这项研究不仅提出了控制LLM输出长度的新方法，还开发了一套评估LLM输出简洁性和正确性的新指标。这项研究很值得受困于此的朋友借鉴。大型语言模型在复杂问题解答方面表现出色，但同时也存在一个明显的问题：模型往往会生成冗长的输出，这不仅增加了推理时间，也可能引入不必要的错误。
控制 LLM 的输出格式和解析其输出结果
m0_70886513的博客
12-12 682
控制LLM的输出格式和解析其输出结果是自然语言处理领域的重要问题，涉及多种技术和工具。通过合理的输入控制、输出后处理以及解析方法，可以对LLM的输出进行有效地控制和解析，从而满足不同应用场景的需求。未来，随着自然语言处理技术的不断发展，相信对LLM输出控制和解析的研究也将得到进一步的深化和完善。本文将介绍如何控制LLM的输出格式和解析其输出结果，以及相关的技术和工具。这包括向LLM提供特定的输入格式，比如加入特殊标记、指定特定的任务等，以引导LLM生成特定格式的输出。等，它们在各自的领域取得了显著的成就。
LLM的训练数据主要有哪些？数据格式是什么样的？
07-17
LLM（Language Model for Legal Text）的训练数据主要包括法律文本和相关的语料库。下面是一些常见的LLM训练数据来源： 1. 法律文书和案例法：包括法院判决、法律条文、法律评论等。这些文本提供了实际的法律应用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值