ACL2023 | 一个任务通用的的指令微调Embedder！

最新推荐文章于 2024-06-23 17:53:32 发布
最新推荐文章于 2024-06-23 17:53:32 发布
阅读量320 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27590277/article/details/132704018
版权

96bc8accaef74bd2d098cf4336455714.png深度学习自然语言处理 原创
作者：cola

随着指令微调模型的发展，开始有人思考既然指令微调可以用来提升语言模型的性能，那么是否也可以用类似的方法来提升文本嵌入模型的性能呢？于是本文作者提出了INSTRUCTOR，这个模型设计了一种通用的Embedder，使得文本嵌入表示能更好地迁移到新的任务和领域，而不需要额外的训练。这个想法也是很有意思的，具体的请看下文吧~

论文：
One Embedder, Any Task: Instruction-Finetuned Text Embeddings

地址：
https://arxiv.org/abs/2212.09741

背景介绍

现有的文本嵌入表示方法在应用到新的任务或领域时，通常性能都会受损，甚至应用到相同任务的不同领域也会遇到同样的问题。常见的解决办法是通过针对下游任务和领域的数据集进一步微调文本嵌入，而这个工作通常需要大量的注释数据。

本文提出的INSTRUCOR(Instruction-based Omnifarious Representations)不需要针对特定任务或领域进行微调就可以生成输入文本的嵌入。该模型在70个嵌入评价数据集上表现比SOTA嵌入模型平均要高3.4%。INSTRUCTOR和以往的模型不同，它向量表示不仅包含输入文本还有端任务和领域的指令。并且针对不同的目标，对于同一个输入文本，INSTRUCTOR会将输入表示为不同的嵌入。例如图1中Who sings the song “Love Story”?会根据不同的任务被表示为不同的嵌入。79fdc1b245d792470a854949799a099d.png如图2所示，INSTRUCTOR是在MEDI上进行训练的，MEDI是我们的330个文本嵌入数据集的新集合，新标注了人工编写的任务指令。我们在所有数据集上使用对比损失来训练INSTRUCTOR，从而最大化语义相关文本对之间的相似性，同时最小化不相关文本对的相似性。33e3237e476ced4a2c1202dea7e28946.png

INSTRUCTOR

结构

INSTRUCTOR基于单个Encoder来设计，使用GTR系列模型作为框架(GTR-Base for INSTRUCTOR-Base,GTR-Large for INSTRUCTOR,GTR-XL for INSTRUCTOR-XL)。GTR模型使用T5进行初始化。不同大小的GTR使得我们指令微调嵌入模型的表现也不同。给定一个输入文本以及任务指令，INSTRUCTOR将他们组合成，然后通过对的最后一个隐藏表征进行均值池化来生成固定大小、特定任务的嵌入。

训练目标

通过将各种任务转为文本到文本的方式来训练INSTRUCTOR，给定输入，需要去区分好/坏候选输出，其中训练样本对应于元组，其中和分别是与和相关的指令。例如，在检索任务中，是查询，好/坏是来自某个文档的相关/不相关文档。

输入的候选的好由相似度给出，即它们的INSTRUCTOR嵌入之间的余弦:6bc56bdbd64208467aaaef3eccf50325.png最大化正样本对之间的相似度，并最小化负样本对之间的相似度，其中表示每个正样本对的负样本对的数量，训练目标：c1a5fcfbb69ee0e0193a2ec738e9d59d.png其中是softmax的温度，是和的并集。此外还加入了双向批内采样损失。

MEDI: Multitask Embedding Data with Instructions

MEDI(Multitask Embeddings Data with Instructions)是我们由330个数据集构造而成，该数据集包含不同任务和领域的指令。

数据构造：使用来自super-NI的300个数据集，另外30个来自现有的为嵌入训练设计的数据集。super-NI数据集附带自然语言指令，但不提供正负样本对。我们使用Sentence-T5嵌入来构建样本对，用表示。对于分类数据集，我们基于输入文本嵌入计算样本之间的余弦相似度。如果两样本具有相同的类标签，则使用与高度相似的示例创建一个正样本对，如果标签不同，则创建一个负样本对。对于输出标签为文本序列的其余任务，首先计算以下分数:29099dd091ee641d25686fafba60cd34.png选择最高的样本作为正样本对，并选择具有最高的作为负样本对。其他30个嵌入训练数据集来自Sentence Transformers embedding data、KILT、MedMCQA。这30个数据集已经包含正样本对;其中MSMARCO和Natural Questions也包含负样本对。我们在模型微调过程中使用了4个负样本对。

指令注释：每一个MEDI的实例都是一个元组。为了引入指令，我们设计了一个统一的指令模板：

  • 文本类型：指定输入文本的类型。例如，对于开放域QA任务，查询的输入类型是问题，而目标的输入类型是文档。

  • 任务目标（可选项）：描述输入文本在该任务中如何使用。

  • 领域（可选项）：描述任务领域

最终的指令格式：“REPRESENT THE (DOMAIN) TEXT TYPE FOR TASK OBJECTIVE:."

实验

用MEDI数据集对INSTRUCTOR进行训练，并在70个下游任务对其进行评估。使用了MTEB基准，该基准由7个不同任务类别(如分类、重新排序和信息检索)的56个数据集组成。然后，我们进一步将INSTRUCTOR应用于上下文学习和文本生成评估的提示检索。在三种设置中，INSRTUCTOR都达到了最先进的性能。7e16af1012d9b656be20c7ffa753397d.png正如预期的那样，基于检索的模型(如GTR-XXL)在检索和重排序方面表现出较强的性能，但在STS和分类方面明显落后。相反，基于相似性的模型(例如，Sent-T5-XXL)在STS、分类和文本评估方面表现良好，但在检索方面表现不佳。这表明，这些基线倾向于生成只擅长某些任务的专门嵌入，而INSTRUCTOR提供了在不同任务类别上表现良好的通用嵌入。

分析以及消融实验

指令的重要性

我们将MEDI划分为对称和非对称组，然后对每个组进行有指令和没有指令的训练。实验结果如图3所示，结果表明如果数据是对称的或非对称的，在没有指令的情况下进行微调的INSTRUCTOR的性能与原始GTR相近或更好。但是，使用指令微调使模型能够从对称和非对称数据的组合中获益。这体现了指令微调的重要性。47ff1ee436c08a41723b00f1005d470b.png

指令的鲁棒性

我们为所有评估数据集编写了五个意译指令，并测量了表现最佳和表现最差的指令之间的INSTRUCTOR的性能差距。图4表明，包含300个super-NI数据集对INSTRUCTOR的鲁棒性至关重要。从训练中删除这些数据集(没有super-NI)大大增加了表现最好和最差的指令之间的性能差距，这表明super-NI的多样化指令有助于模型处理不同的格式和风格。3fe02a57f3c1359a2a8a54c62fb10037.png

指令的复杂程度

我们考虑了四个层次的指令复杂性:N/A(无指令)、数据集标签、简单指令和详细指令。在数据集标签实验中，每个示例都附有其数据集名称。例如，在Natural Questions数据集上，查询格式为"Natural Questions; Input: who sings the song Love Story").。在简单的指令实验中，我们使用一两个单词来描述域(例如，对于Natural Questions数据集，输入查询是Wikipedia Questions;输入是who sings the song Love Story)。图5表明使用琐碎的数据集标签，INSTRUCTOR也优于原始的GTR模型，说明了指令在不同训练中的有效性。随着提供的信息越来越多，我们观察到持续的改进。601d0c204ebac4ff8170ac31b4cf4cc4.png

模型大小和指令微调

图6展示了比较不同大小的模型的平均性能。随着编码器transformer模型的扩大，GTR和INSTRUCTOR的性能都在不断提高。尽管如此，INSTRUCTOR的改进更加明显，这可能是因为带有指令的嵌入受益于更大的容量。这意味着大模型在计算各种领域和任务类型中的文本时更加一般化。233bdbf33381437692297eb5efdb3203.png

指令的域转移

基于指令微调的一个优点是，它提高了模型泛化到不可见领域和任务的能力。为了证明这种有效性，我们研究了三个unseen的INSTRUCTOR没有受过训练的领域:地理、生物和民间评论。如表3所示，INSTRUCTOR在所有三个领域上极大地提高了GTR-Large的性能(高于平均水平)，这表明当将模型应用于不可见或不常见的领域时，指令可以提供更多帮助。f591c3ab9e900fbc733ad3e6838d1c0d.png

消融实验

我们使用T-SNE来可视化两个有和没有指令的分类示例。如图7所示，情感相同的点对距离更近，而情感不同的点对距离更远。3fd6a911ed4602dc15db56964560239b.png

总结

本文的贡献有两点：

  1. 提出了INSTRUCTOR,一个使用自然语言指令创建广泛适用的文本嵌入的单模型。大量实验表明INSTRUCTOR在文本嵌入测试中达到了最先进的性能。

  2. 构建了MEDI数据集。

进NLP群—>加入NLP交流群

zenRRan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
论文阅读：One Embedder, Any Task: Instruction-Finetuned Text Embeddings
comli_cn的博客
11-02 904
现存的emmbedding应用在新的task或者domain上时表现会有明显下降，甚至在相同task的不同domian上的效果也不行。这篇文章的重点就是提升embedding在不同任务和领域上的效果，特点是不需要用特定领域的数据进行finetune而是使用instuction finetuning就可以在不同的任务和领域上表现得很好。新提出的模型被叫做INSTRUCTOR，进行instruction finetuning所用的数据集是MEDI。
综述论文 | ACL2023: 基于提示学习的大型语言模型推理综述
开放知识图谱
07-14 1860
1. 引言推理能力是人类智能的核心之一。随着预训练技术的不断发展，借助提示学习（例如Chain-of-Thought Prompting[1]），大型语言模型展现出了令人惊讶的推理能力，引起了学术界和工业界学者的广泛关注。本文介绍一篇发表于ACL2023的关于"语言模型提示推理"的综述，从提示学习的角度系统地划分、梳理和对比了各种前沿推理工作（近期还有两篇关于大型语言模型推理的综述可参考[2][3...
ACL 2023发榜！火山语音推出业内首个借助视频信息的端到端语音翻译模型
Paper weekly
05-31 158
日前 ACL 2023 的论文录用结果公布，火山语音团队多篇论文成功入选，内容涵盖音频合成、歌声合成以及语音翻译等多个前沿技术领域的创新突破。ACL（Annual Meeting of the Association for Computational Linguistics）每年由国际计算语言学协会举办，是自然语言处理与计算语言学领域最高级别的学术会议，也是中国计算机学会（CCF）A 类推荐会议...
ACL 2023｜大模型时代，自然语言领域还有什么学术增长点？
微软技术栈
07-07 582
国际计算语言学年会（Annual Meeting of the Association for Computational Linguistics，简称 ACL）是自然语言处理（NLP）领域的顶级国际会议，ACL 2023 将于2023年7月9-14日在加拿大多伦多举行。随着人工智能技术的快速发展，确保相关技术能被人们信赖是一个需要攻坚的问题。微软亚洲研究院也在不断推进负责任的人工智能的探索发现与应用实践。今天我们为大家带来3篇微软亚洲研究院以负责任的人工智能为主题入选 ACL 2023 的论文。
Instructor: 能遵循instruction的句向量模型
zenRRan的博客
06-13 322
来自：NLP日志进NLP群—>加入NLP交流群提纲1 简介2 Sentence-T5‍3 GTR4 INSTRUCTOR5 总结‍‍‍‍参考文献1 简介句向量技术是将连续的文本转化为固定长度的稠密向量，将句子映射到同一个向量空间中，从而应用到各种下游任务，例如分类，聚类，排序，检索，句子相似度判别，总结等任务，一种优异的句向量技术可以明显提升诸多下游任务的性能。关于如何利用语言模型输...
文献打卡第一天
xumeng900的博客
08-09 467
论文题目：A Transfer Learning Framework for RSVP-based Brain Computer 论文信息：2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)，DOI：10.1109/EMBC44109.2020.9175581 论文摘要 作者提出了一个新的源域选择策略，利用CNN提取特征。而鉴别器尝试区分
Python库 | news_embedder-0.2.0-py3-none-any.whl
03-22
在实际项目中，结合Python的其他库如Pandas进行数据处理，Scikit-Learn进行机器学习，以及Matplotlib或Seaborn进行可视化，`news_embedder`可以成为一个强大的工具，助力开发者在新闻数据分析和文本处理任务中取得...
lichesstv-embedder
06-30
LichessTV 嵌入器 Chrome 扩展程序，允许您将可拖动的 LichessTV 嵌入到您选择的网页上。 使用 draggable.js 。 配置 下载并打开 ZIP 文件。 在地址栏中输入 chrome://extensions/。 勾选右上角的“开发者模式”。...
Python库 | transformer_embedder-1.6.6-py3-none-any.whl
04-26
资源分类：Python库 所属语言：Python 使用前提：需要解压 资源全名：transformer_embedder-1.6.6-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
哈工大SCIR 13篇长文被ACL 2023主会/Findings录用
zenRRan的博客
05-09 2416
来自：哈工大SCIR进NLP群—>加入NLP交流群ACL2023将于2023年7月9-14日在加拿大多伦多举行。ACL年会是计算语言学和自然语言处理领域最重要的顶级国际会议，CCF A类会议，由计算语言学协会主办，每年举办一次。其接收的论文覆盖了对话交互系统、语义分析、摘要生成、信息抽取、问答系统、文本挖掘、机器翻译、语篇语用学、情感分析和意见挖掘、社会计算等自然语言处理领域众多研究方向...
[ACL2022] Text Smoothing: 一种在文本分类任务上的数据增强方法
shawroad的博客
08-31 1306
论文链接: https://arxiv.org/abs/2202.13840。
指令微调数据集构建方法
智享与潜沉
06-23 953
指令微调（Instruction Tuning），是指使用自然语言形式的数据对预训练后的大语言模型进行参数微调，在一些文章中也称为有监督微调（Supervised Fine-tuning，SFT）或多任务提示训练（Multitask Prompted Training）。指令微调的第一步就是收集或构建指令化的实例，然后通过有监督的方式对LLM的参数进行微调，经过指令微调后，大语言模型能够展现出较强的指令遵循能力，可以通过零样本学习（zero-shot）的方式解决多种下游任务。
4.2023计算机领域顶会(A类)以及ACL 2023自然语言处理（NLP）研究子方向领域汇总
丨汀、的博客
02-06 4999
2023年的计算语言学协会年会（ACL 2023）共包含26个领域，代表着当前前计算语言学和自然语言处理研究的不同方面。每个领域都有一组相关联的关键字来描述其潜在的子领域， 这些子领域并非排他性的，它们只描述了最受关注的子领域，并希望能够对该领域包含的相关类型的工作提供一些更好的想法。
计算机与自动化顶会(A类)2023截稿时间及会议时间(持续更新)
热门推荐
weixin_38218703的博客
07-21 4万+
计算机顶会2023截稿时间及会议时间(持续更新)
ACL2023赶会必备，拿来即用之Experiments
zenRRan的博客
09-29 733
每天给你送来NLP技术干货！© 作者｜刘沛羽机构｜中国人民大学高瓴人工智能学院研究方向｜自然语言处理，模型压缩来自 | RUC AI Box本文从ACL2022年中的论文中整理出来了常见的数据集描述和基准方法，范围涵盖14个子领域20篇论文。本次整理主要有以下几个特点：拿来即用，辅助写作。论文写作中一定会包含数据集介绍部分。对于通用的数据集，一般会有相对“标准”的描述方式。本文从顶会论文中收集和整...
nginx资源useless，don't download
07-09
nginx资源useless，don't download
util-linux-2.37.2.tar.xz
07-09
util-linux-2.37.2.tar.xz
“人力资源+大数据+薪酬报告+涨薪调薪”
最新发布
07-09
人力资源+大数据+薪酬报告+涨薪调薪，在学习、工作生活中，越来越多的事务都会使用到报告，通常情况下，报告的内容含量大、篇幅较长。那么什么样的薪酬报告才是有效的呢？以下是小编精心整理的调薪申请报告，欢迎大家分享。相信老板看到这样的报告，一定会考虑涨薪的哦。
API-pour-les-nuls-WSM14025FRFR-3-of-5.pdf
07-09
api
用百度飞浆训练一个智能对话模型，写出代码
07-08
以下是一个使用百度飞桨（PaddlePaddle）训练智能对话模型的简单代码示例： ```python import paddle import paddle.fluid as fluid import numpy as np # 定义对话模型 def dialog_model(inputs): hidden_size = 128 embed_size = 256 # 定义嵌入层 embedder = fluid.layers.embedding( input=inputs, size=[vocab_size, embed_size], is_sparse=True) # 定义LSTM层 lstm = fluid.layers.dynamic_lstm( input=embedder, size=hidden_size, is_reverse=False) # 获取LSTM层的输出结果 lstm_out = lstm[0] # 定义全连接层 fc = fluid.layers.fc(input=lstm_out, size=vocab_size, act="softmax") return fc # 定义输入数据和标签数据 inputs = fluid.layers.data(name="inputs", shape=[1], dtype="int64", lod_level=1) labels = fluid.layers.data(name="labels", shape=[1], dtype="int64", lod_level=1) # 定义模型输出 model_output = dialog_model(inputs) # 定义损失函数和优化器 loss = fluid.layers.cross_entropy(input=model_output, label=labels) avg_loss = fluid.layers.mean(loss) optimizer = fluid.optimizer.Adam(learning_rate=0.001) optimizer.minimize(avg_loss) # 定义训练程序 place = fluid.CPUPlace() exe = fluid.Executor(place) exe.run(fluid.default_startup_program()) # 定义训练循环 for epoch in range(num_epochs): for batch_id, data in enumerate(train_reader()): input_data = np.array(data[0]).astype("int64") label_data = np.array(data[1]).astype("int64") loss_val = exe.run(feed={"inputs": input_data, "labels": label_data}, fetch_list=[avg_loss]) if batch_id % 100 == 0: print("Epoch %d, Batch %d, Loss %.4f" % (epoch, batch_id, loss_val[0])) ``` 请注意，上述代码仅为一个简单的示例，具体的实现细节和参数设置需要根据你的具体需求和数据情况进行调整。你可能需要根据自己的数据集和模型设计做一些修改。另外，你还需要准备好训练数据和相应的数据读取器（train_reader）来获取训练数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值