Scaling Instruction-Finetuned Language Models

最新推荐文章于 2024-03-30 16:36:47 发布
最新推荐文章于 2024-03-30 16:36:47 发布
阅读量1.3k 收藏 2
点赞数
分类专栏： paper_reading 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kebijuelun/article/details/131938800
版权
文章分析了指令微调对语言模型的影响，发现模型规模越大、微调任务越多，效果越好。Flan-PaLM在多项基准测试中表现出色，尤其是在多语言能力和推理任务上。CoT数据的加入增强了模型的推理能力，尤其是对于大模型。指令微调需要适量的任务多样性，过多可能会饱和。此外，微调所需的计算资源远小于预训练。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Paper name

Scaling Instruction-Finetuned Language Models

Paper Reading Note

Paper URL: https://arxiv.org/pdf/2210.11416.pdf

TL;DR

  • 2022 年谷歌出的文章，对指令微调的影响因素进行分析，提出了一些提升指令微调效果的方案。与该文章一起出品的数据集 Flanv2 也是业界公认的高质量微调数据集，对于各种公开榜单刷榜有重要意义

Introduction

背景

  • 人工智能的一个重要目标是开发可以推广到看不见的任务的模型。在自然语言处理 (NLP) 中，预训练的语言模型朝着这个目标取得了重大进展，因为它们可以在给定自然语言描述的情况下执行任务，但这需要一些提示词工程（few-shot 示例）来进行协助
  • 通过在表示为指令的任务集合上微调语言模型，已经取得了进一步的进展，这使得模型能够更好地响应指令，并减少对 few-shot 示例的需求

本文方案

  • 本文提出了几种优化指令微调的方式
    • 研究了缩放对指令微调的影响
      • 与微调指令的任务数量有关，任务数量越多效果越好
      • 与模型的大小有关，模型越大效果越好
    • 研究了指令微调对推理任务的影响
      • 微调指令中增加思维链（CoT）数据能提升效果

在这里插入图片描述

  • 本文贡献
    • 使用 540B 参数模型训练 Flan-PaLM，将微调任务的数量增加到 1.8K，包括 CoT 数据。Flan-PaLM 优于 PaLM，在几个基准测试中实现了最优效果。比如 MMLU 实现了 75.2 的精度
    • 与 PaLM 相比，Flan-PaLM 也提高了多语言能力，例如 one-shot TyDiQA 的绝对精度提升为 14.9%，代表性不足语言的算术推理的绝对提升为 8.1%
    • 在人工评估员评估中，Flan-PaLM 在一组具有挑战性的开放式生成问题上大大优于 PaLM，这表明可用性有所提高
    • 指令微调 Flan-T5 模型（80M 到 11B）。这些 checkpoints 具有很强的 zeroshot、few-shot 和 CoT 能力，优于之前的 T5 模型。

在这里插入图片描述

Methods

Flan Finetuning

  • 将指令微调称为 Flan（Finetuning language models），加上 Flan 的模型指代微调后的模型，比如 Flan-PaLM。指令微调的流程可适配以下多种模型结构
    在这里插入图片描述
微调数据
  • 多个任务混合，如下图所示，包含 Muffin, T0-SF, NIV2, CoT 四个混合数据源，一共 1836 个微调任务，数据集就包含了 473 个
    在这里插入图片描述
  • 上图推理部分包含了 CoT 数据，用它来探索对 CoT 注释进行微调是否可以提高 unseen 场景下的推理任务的性能
    • 从先前的工作中创建了一个包含九个数据集的新混合，人类评分者手动为训练语料库编写 CoT 注释，九个数据集主要包含算术推理、multi-hop 推理、自然语言推理任务，每个任务手动编写十个指令模板
  • 模板设置
    • 对于 Muffin、T0-SF 和 NIV2，我们为每个任务使用指示性模板，由各个数据源的创建者给出
    • 对于 CoT，手动为九个数据集中的每个数据集编写了大约十个指令模板，包含/不包含 CoT 数据基于带/不带 few-shot 的样例数据如下
      在这里插入图片描述
finetuning 流程
  • T5、PaLM、U-PaLM 的不同尺寸模型都进行训练，训练流程一致，除了少量超参数：学习率、batch size、dropout 和训练 step 数目
    • 使用 Adafactor 优化器，恒定学习率
    • 使用 packing 将多个训练示例组合成一个序列，使用序列结束标记将输入与目标分开
    • masking 操作：用于防止 token 在 packing 的示例边界关注其他 token
    • 对于每个模型，对所有后续评估评估都仅使用某个固定 checkpoint；最佳 checkpoint 是基于评测任务的定期评估（每个 2k 到 10k 步，具体取决于模型大小），并且在给定模型的所有消融实验中都使用相同的 checkpoint 步骤数
    • 微调的计算资源消耗与预训练相比很小，例如只使用 0.2% 的预训练计算来指导微调 Flan-PaLM 540B（大约 512 v4 TPU 芯片 37 小时）

模型和任务规模的缩放效应

  • 以下图片的纵坐标是在多个评测集上的结果平均后的结果，随着模型规模提升精度提升，另外随着微调任务提升精度也提升
    在这里插入图片描述
    在这里插入图片描述
  • 从以上实验可以提取出的一些经验
    • 增加模型规模稳定涨点，不管是微调前还是微调后的
    • 指令微调对于大模型和小模型的提升幅度基本差不多。如果指令数据的任务足够多，看起来是小模型的绝对提升幅度大于大模型。但是这样评估也不一定科学，比如 8B 模型的绝对增益大于 540B 模型（8B 为 15.5%，5.4B 为 9.4%），但 540B 模型的错误率的相对减少更大（18.4% 540 B vs 16.6% 8B）
    • 增加任务种类涨点，282 个任务后的涨点幅度变小，可能有两种解释
      • 282 个任务之后的任务不是特别多样化，没有提供具有新知识的模型
      • 多任务指令微调的大部分收益来自让模型更好表达预训练过程中模型已经知道的知识，超过 282 个任务后作用就不大了。作者认为这个解释是有道理的，因为预训练数据由 780B 个 token 组成，而指令微调仅使用 1.4B 个 token（预训练标记的 0.2%）
CoT 的影响

  • CoT 的影响分为两方面

    • CoT 训练数据：从上节表格中，可以看出 CoT 的数据增加有明显涨点
    • CoT prompt：对于大尺度模型（540B）在推理性任务（比如 BBH）上有涨点，知识性任务（MMLU）上不论大小模型都掉点

  • CoT 如何结合 self-consistency 对于大模型可以显著涨点；指令微调后的模型 （Flan-PaLM）相比于预训练模型（PaLM）稳定涨点
    在这里插入图片描述

  • 同时使用 CoT 和 non-CoT 数据的精度最高；可以看出如果没有 CoT 数据引入，微调是掉点的（对于 CoT 评测任务），但是增加 CoT 数据后微调能涨点。这说明为了保持推理能力，对某些 CoT 示例进行微调至关重要
    在这里插入图片描述

  • 训练任务中有 CoT 的数据可以解锁 zero-shot 推理能力：对于预训练模型，使用 CoT prompt 无法涨点，但是对于微调后的模型，使用 CoT 能涨点。CoT 的方式为使用经典的 “let’s think step-by-step”
    在这里插入图片描述
    一些使用 CoT 的样例对比如下

在这里插入图片描述

Experiments

  • 基于 Flanv2 数据集训练的模型都能稳定涨点
    在这里插入图片描述

  • 基于人工评测模型的开放域问答能力，微调后的模型效果更佳
    在这里插入图片描述

Thoughts

  • 本文一些重要结论汇总
    • 指令微调对于大模型和小模型的提升幅度基本差不多。如果指令数据的任务足够多，小模型的绝对提升幅度大于大模型
    • 增加模型规模稳定涨点
    • 增加任务种类涨点，但增加任务种类在 282 个任务后的涨点幅度变小
    • 微调的计算资源消耗与预训练相比很小，例如只使用 0.2% 的预训练计算来指导微调 Flan-PaLM 540B（大约 512 v4 TPU 芯片 37 小时）
    • 指令微调后的模型 （Flan-PaLM）相比于预训练模型（PaLM）稳定涨点
    • 同时使用 CoT 和 non-CoT 数据的精度最高
    • 训练任务中有 CoT 的数据可以解锁 zero-shot 推理能力
  • CoT + self-consistency 对于大模型（540B）刷榜很有效
  • 文章实验充分且解释详尽，不愧是 yaofu 说要全文背诵的文章
论文翻译：Scaling Instruction-Finetuned Language Models
CSPhD-winston的博客
08-29 1257
在一系列以指令形式表述的数据集上对语言模型进行微调已被证明可以提高模型性能并推广到未见任务。在本文中，我们探索了指令微调，特别关注（1）扩展任务数量，（2）扩展模型规模，以及（3）在思维链数据上进行微调。我们发现，上述方面的指令微调显著提高了多种模型类别（PaLM、T5、U-PaLM）、提示设置（零次、少次、思维链）和评估基准（MMLU、BBH、TyDiQA、MGSM、开放式生成、RealToxicityPrompts）的性能。
DeepSeek LLM : 使用长期主义扩展开源语言模型 | Scaling Open-Source Language Models with Longtermism
AI天才研究院
02-07 265
DeepSeek LLM 使用长期主义扩展开源语言模型Abstract 摘要开源大型语言模型的快速发展（LLMs）确实令人瞩目。然而，先前文献中描述的扩展定律得出不同的结论，这给扩展 LLMs 投下了阴影。我们深入研究扩展定律，并提出了我们独特的发现，这些发现有助于在两种广泛使用的开源配置（7B 和 67B）中扩展大规模模型。在扩展定律的指导下，我们推出了 DeepSeek LLM 项目，这是一个致力于从长远角度推进开源语言模型的项目。
【LLM系列之FLAN-T5/PaLM】Scaling Instruction-Finetuned Language Models
yanqianglifei的专栏
05-08 1568
研究已经证明，在一组表述为指令的数据集上微调语言模型可以提高模型性能和对未知任务的泛化能力。(1)缩放任务数量；(2)缩放模型大小；(3)链式思维数据微调；论文发现，在上述方面进行指令微调可以显着提高各种模型（PaLM、T5、U-PaLM）、提示设置（零样本、少样本、CoT）和评估基准（MMLU、BBH、 TyDiQA、MGSM、开放式生成、RealToxicityPrompts）。
文献阅读：Scaling Instruction-Finetuned Language Models
codename_cys的博客
02-12 2289
文献阅读：Scaling Instruction-Finetuned Language Models
Scaling Instruction-Finetuned Language Models翻译
nopSled
12-13 1116
人工智能的一个重要目标是开发一个可以泛化到未知任务的模型。在自然语言处理（NLP）中，预训练语言模型已沿着这一目标取得了重大进展，因为它们可以在给定自然语言描述的情况下执行任务。通过在一系列任务指令集中微调语言模型取得了进一步的进展，这使模型能够更好地响应指令减少对few-shot样例的需求。在本文中，我们通过多种方式来提高指令微调。首先，我们研究了缩放对指令微调的影响。我们的实验表明，指令微调确实可以随着任务的数量和模型的大小而缩放。他们各自的缩放行为表明，未来的研究应扩大任务数量和模型的规模。
【llm论文】Scaling Instruction-Finetuned Language Models
BLUE BOX
08-30 261
第一章。
Scaling Instruction-Finetuned Language Models.pdf
05-18
Scaling Instruction-Finetuned Language Models 本文探讨了基于指令 fine-tuning 的语言模型的扩展，主要关注于三个方面：任务数量的扩展、模型规模的扩展和基于 chain-of-thought 数据的 fine-tuning。研究表明，...
Finetuned Language Models Are Zero-Shot Learners
Young, Simple, Naive
03-30 606
指令微调模型 FLAN 显著提升 zero-shot 能力
Baichuan2：Open large-scale language models
liguandong
10-26 568
分词器需要平衡两个关键因素：高压缩率以实现高效的推理，并适当大小的词汇表以确保每个词embedding的充分训练。数据频率依赖于聚类和去重，构建了一个支持LSH型特征和稠密embedding特征的大规模去重和聚类系统，单个文档、段落和句子被去重评分，这些评分然后用于预训练中的数据采样。baichuan2-7B-chat，baichuan2-13B-chat，对齐包括sft和rlhf。在训练具有数十亿参数的大型语言模型之前，首先训练一些小模型，并为训练更大的模型拟合一个缩放定律。1024块A800 GPU。
谷歌提出Flan-T5，一个模型解决所有NLP任务
zenRRan的博客
11-24 2832
作者:nghuyong知乎:https://zhuanlan.zhihu.com/p/580468546「论文」: Scaling Instruction-Finetuned Language Models「地址」: https://arxiv.org/abs/2210.11416「模型」: https://huggingface.co/google/flan-t5-xxl1. Flan-T5是什...
从语言模型到ChatGPT：大型语言模型的发展和应用
qq_40676033的博客
03-12 5442
大模型有一个很重要的涌现能力（Emergent ability）就是In-Context Learning（ICL），也是一种新的范式，指在不进行参数更新的情况下，只在输入中加入几个示例就能让模型进行学习。
NLP大模型微调原理
狮子座明仔知识集散场
05-07 7923
2. 论文《Training Compute-Optimal Large Language Models》研究发现最好的性能不是在最大的模型上，而是在用了更多token的模型上，因此作者认为一个较小的模型训练的时间更长，用的token更多，能达到一样的模型效果，并且在预测时较为便宜（cheaper）。GPT等大型语言模型基于Prompt的zero shot的学习范式有一个很大的问题是，预训练的模型完成的任务是后继文本的预测，这和具体任务的要求有一些偏离，生成的结果也不一定符合人的意图。
谷歌FLAN-T5作者亲讲：5400亿参数，1800个任务，如何实现大语言模型“自我改进”...
BAAIBeijing的博客
11-25 3514
2021年，谷歌的研究者们提出了FLAN大模型，其基于Instruction Tuning的方式，极大地提升了大语言模型的理解能力。同时，各种Prompting方法的涌现预示着针对大模型的下游微调将成为研究领域关注的重点。近日，谷歌研究者们再一次推进了Instruction Tuning的性能水平，模型模型参数上升至540B，微调任务的数量则高达1800多个，此外他们还采用了最新的Promptin...
《预训练周刊》第63期：微软视觉语言预训练综述、最新大模型课程
BAAIBeijing的博客
10-27 738
No.63智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息，《预训练周刊》已经开启“订阅功能”，以后我们会向您自动推送最新版的《预训练周刊》。订阅方法：方式1：扫描下面二维码，进入《预训练周刊》主页，选择“关注TA”。方式2：点击本文下方的“阅读原文”，进入《预训练周刊》Hub社区版，根据内附的详细订阅步骤，完成订阅。关于周刊本期周刊，我们选择了8篇来自顶尖高校和大厂的预训练相关的...
Flan-T5: One Model for ALL Tasks
nghuyong的博客
11-05 810
论文：Scaling Instruction-Finetuned Language Models论文地址：https://arxiv.org/abs/2210.11416公开模型：google/flan-t5-xxl · Hugging Face1. Flan-T5是什么Flan-T5是Google最新的一篇工作，通过在超大规模的任务上进行微调，让语言模型具备了极强的泛化性能，做到单个模型就可以在...
论文解读：Finetuned Language Models Are Zero-shot Learners
夏栀的博客
12-31 3896
论文解读：Finetuned Language Models Are Zero-shot Learners 简要信息： 序号 属性 值 1 模型名称 Instruction-tuning 2 发表位置 2021 3 所属领域 自然语言处理、预训练语言模型 4 研究内容 预训练语言模型、多任务学习 5 核心内容 instruction, prompt 6 GitHub源码 https://github.com/google-research/flan 7 论文PDF h
大语言模型集成工具 LangChain
热门推荐
kebijuelun的博客
01-17 1万+
介绍：通过可组合性使用大型语言模型构建应用程序【背景】大型语言模型 (LLM) 正在成为一种变革性技术，使开发人员能够构建他们以前无法构建的应用程序，但是单独使用这些 LLM 往往不足以创建一个真正强大的应用程序，当可以将它们与其他计算或知识来源相结合时，就有真的价值了。LangChain 旨在协助开发这些类型的应用程序使用文档：https://langchain.readthedocs.io/en/latest/index.html。
WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving
kebijuelun的博客
01-27 4939
Paper name WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving Paper Reading Note URL: https://openaccess.thecvf.com/content_ICCV_2019/papers/Yogamani_WoodScape_A_Multi-Task_Multi-Camera_Fisheye_Dataset_for_Autonomous_Driving_ICCV
Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
kebijuelun的博客
03-12 4767
如下图所示，所提出的主要模块叫做 Prompt Manager，作用是基于用户输入，结合 chatgpt 和各个视觉基础模型实现用户给定的多模态任务。Visual ChatGPT 多模态对话系统的功能对于上面每轮答案 Ai 都需要利用一系列 VFM(F) 模型，具体的处理模块为 Prompt Manager (M)，公式表示为。整体流程如下图所示，左边展示了三轮对话内容，中间展示了 Visual ChatGPT 具体处理流程，右边展示了处理第二轮对话中 VFM 模型的具体处理细节。支持的视觉基础模型汇总。
DeepSeek LLM Scaling Open-Source Language Models with Longtermism
最新发布
02-26
### 关于DeepSeek 扩展开源语言模型及其长期主义方法 #### DeepSeek LLM 的架构扩展策略 DeepSeek LLM 通过增加网络层数来实现模型规模的扩大。对于较小版本如 DeepSeek LLM 7B，采用了30层结构；而对于较大版本如 DeepSeek LLM 67B，则增加了至95层[^2]。这种分层次的设计不仅有助于维持与其他开源模型的一致性，同时也支持更有效的并行计算和分布式处理。 #### 长期发展视角下的技术贡献 为了推动大型语言模型领域内的持续进步和技术共享，DeepSeek 发布了一个名为 DeepSeek-V2-Lite 的轻量化版本模型，该模型拥有15.7亿参数量，并且每个token激活约2.4亿参数[^4]。这一举措旨在降低参与门槛，鼓励更多研究人员参与到基于多专家混合(MoE) 和自适应局部注意(Adaptive Local Attention, MLA)机制的研究工作中去。 #### 开放生态系统的建设 除了提供不同尺寸大小的语言模型外，DeepSeek 还致力于构建一个开放包容的技术生态系统。这包括但不限于发布详细的文档说明、分享最佳实践案例以及积极参与社区交流活动等措施。这样的做法能够吸引更多开发者加入到这个充满活力的群体当中，共同探索未知领域，解决实际应用中的挑战。 ```python # Python 示例代码展示如何加载预训练好的 DeepSeek 模型 from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "deepseek-llm" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) text = "Once upon a time," input_ids = tokenizer.encode(text, return_tensors='pt') output = model.generate(input_ids, max_length=50) print(tokenizer.decode(output[0], skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值