《论文阅读》连续前缀提示Prompt：table-to-text和摘要生成 ACL2021

最新推荐文章于 2024-09-11 17:01:31 发布
最新推荐文章于 2024-09-11 17:01:31 发布
阅读量806 收藏 1
点赞数
分类专栏： 组会论文 文章标签： 论文阅读 深度学习 人工智能 提示学习 摘要
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/131029540
版权
组会论文 专栏收录该内容
31 篇文章 13 订阅 ¥29.90 ¥99.00
订阅专栏
本文解析了ACL2021的《Prefix-Tuning》论文，研究了如何通过优化连续的提示（prompt）进行table-to-text生成和摘要任务。作者提出了一种固定大模型参数，仅更新连续提示的方法，以解决微调资源消耗问题。实验表明，这种方法既简洁又高效。
摘要由CSDN通过智能技术生成

《论文阅读》连续前缀提示Prompt：table-to-text和摘要生成 ACL2021

前言

你是否也对于理解论文存在困惑？

你是否也像我之前搜索论文解读，得到只是中文翻译的解读后感到失望？

小白如何从零读懂论文？和我一起来探索吧！

今天为大家带来的是《Prefix-Tuning: Optimizing Continuous Prompts for Generation》

在这里插入图片描述

出版：ACL

时间： 2021

类型：table-to-text generation using GPT ；summarization using BART

特点：固定PLM参数+优化前缀提示+连续提示

作者：Xiang Lisa Li

第一作者机构：Stanford University

相关知识

Table-to-Text Generation

了解本专栏 订阅专栏 解锁全文
365JHWZGo
关注
专栏目录
订阅专栏
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
NLP Prompt范式，两种主要类型：填充文本字符串空白的完形填空（Cloze）prompt，和用于延续字符串前缀的前缀 (Prefix) prompt。
人工智能曾小健
08-06 3000
从 2017-2019 年开始，NLP 模型发生了翻天覆地的变化，这种全监督范式发挥的作用越来越小。具体而言，研究重点开始转向预训练、微调范式。在这一范式下，一个具有固定架构的模型通过预训练作为语言模型（LM），用来预测观测到的文本数据的概率。由于训练 LM 所需的原始文本数据需要足够丰富，因此，这些 LM 都是在比较大的数据集上训练完成。之后，通过引入额外的参数，并使用特定任务的目标函数对模型进行微调，将预训练 LM 适应于不同的下游任务。在这种范式下，研究重点转向了目标工程，设计在预训练和微调阶段使用的
【论文笔记】Few-Shot Table-to-Text Generation with Prefix-Controlled Generator
记录学习^_^，欢迎交流~
03-12 639
少样本学习；表格到文本生成；前缀控制生成；Few-Shot Table-to-Text Generation with Prefix-Controlled Generator
ToTTo：受控的表到文本生成数据集
谷歌开发者
02-08 2048
文 / Ankur Parikh 和 Xuezhi Wang，Google Research 研究员在过去几年中，自然语言生成 (Neural Language Generation, N...
【论文阅读】Table-to-text Generation by Structure-aware Seq2seq Learning
m0_37477175的博客
06-01 2189
2018 AAAI论文; 2017年其实就已经发到arxiv ;—bert为2019年提出，现在是否有基于b ert来做的呢？； GitHub : https://github.com/tyliupku/wiki2bio; 作者: 教育部计算语言学重点实验室，北京大学电子工程与计算机科学学院; 本质感觉就是seq2seq attention的新玩法。。。 一、要完成的事 根据结构化表格，自动生成人物的传记！ 听起来很酷！但是仔细一想，其实类似于医疗领域的自动诊断单的生成，不过医疗的话其实是先对图像分析.
Text-to-Table: A New Way of Information Extraction
garbage回收中心
06-01 866
作者受到任务（用于生成描述给定表格的文本语言）的启发，提出了的新任务，根据给定的文本，来生成用于文本总结和文本挖掘的表格（如下图所示）。例如，体育比赛的得分表可以作为原始输入的总结，可以明显的看出运动员的表现。作者认为与传统的IE（information extraction）方法比，text-to-table任务有以下不同：1）text-to-table能够用于句子级别和文件级别，一般来说文件级的输出会更加复杂。2）用于提取的模式隐含在训练数据中，例如标题。
从4篇最新论文详解NLP新范式——Continuous Prompt
Paper weekly
09-10 1339
©PaperWeekly 原创 ·作者|张一帆学校|中科院自动化所博士生研究方向|计算机视觉近几年，NLP 技术发展迅猛，特别是 BERT 的出现，开启了 NLP 领域新一轮...
CCIE重认证350-401
stqer的博客
01-04 2180
traffic policing： causes TCP retransmissions when traffic is dropped导致TCP重传时流量下降 introduces no delay and jitter引入无延迟和抖动 drops excessive traffic减少过多的流量 traffic shaping： buffers excessive traffic缓冲过多的流量 introduces delay and jitter引入延迟和抖动 applied on traffic t
windows-运维-05 初识PowerShell
weixin_42560249的博客
03-26 1022
windows-运维-05 初识PowerShell 什么是PowerShell Powershell 是运行在windows机器上实现系统和应用程序管理自动化的命令行脚本环境。你可以把它看成是命令行提示符cmd.exe的扩充，不对，应当是颠覆。 powershell需要.NET环境的支持，同时支持.NET对象。微软之所以将Powershell 定位为Power，并不是夸大其词，因为它完全支持对象...
阿里达摩院TableQA技术让表格说话
阿里技术
04-28 4676
本文将对达摩院在 TableQA 技术方向的系列探索创新和业务落地做系统的梳理介绍。 图 1：达摩院 TableQA 先后取得四大榜单第一 在日常工作中，Excel 表格随处可见；在 APP 或网页中，表格.
Key Fact as Pivot: A Two-Stage Model for Low Resource Table-to-Text Generation 论文翻译
weixin_41089007的博客
08-09 899
以关键事实为枢轴：一种两阶段的低资源的表格到文本生成模型 摘要 表到文本生成旨在将结构化数据转换为非结构化文本。 大多数现有方法采用编码器 - 解码器框架来学习转换，这需要大规模的训练样本。 然而，缺乏大并行数据是许多领域的主要实际问题。 在这项工作中，我们考虑低资源表到文本生成的情况，其中只有有限的并行数据可用。 我们提出了一种新的模型，将这一代分为两个阶段：关键事实预测(key fact ...
自然语言处理(NLP)-下游任务&数据集：语言模型、机器翻译、问答、文本分类、情感分析、文本生成、自动摘要、命名实体识别、阅读理解、自然语言推理、信息提取、词性标注、共指消解、实体链接【＞200项】
u013250861的博客
03-02 5294
自然语言处理(NLP)
大模型论文周报 | 来自北大、百度、DeepMind、OpenAI等机构前沿论文研究
AITIME_HY的博客
01-19 1266
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！大模型又可以称为Foundation Model模型，模型通过亿级的语料或者图像进行知识抽取，学习进而生产了亿级参数的大模型。大模型的出现迎来了AI研究的新时代，其所带来的结果提升十分显著，超越了很多领域中针对研究问题设计特定算法实现的提升。本周精选了10篇大模型领域的优秀论文，分别来自北大、百度、DeepMind、OpenAI等机构。为了...
基于数值数据理解和重要信息验证的数据到文本生成模型
AITIME_HY的博客
04-27 394
论文名称：Enhancing Content Planning for Table-to-Text Generation withData Understanding and Verifi...
[文献阅读]——Prefix-Tuning: Optimizing Continuous Prompts for Generation
jokerxsy的博客
09-04 1167
前言 task-specific的Fine-tuning需要为一个下游任务保存一个模型（只fine-tune task-specific的网络，参数量也不是很多啊？），而本文提出的prefix-tuning为不同任务设置一个向量，插入到输入中，减少需要保存的参数。 该问题的相关工作： fine-tuning:微调整个模型 lightweight fine-tuning:选择一些参数（问题是选哪些）、或者插入一些层与层之间的参数来微调（ADAPTER） prompting:给输入插入一些触发词，来充分利用语
【论文笔记】AutoLFADS (Nature Methods, 2022)
Jurio的博客
09-11 1422
通过深度神经群体动力学模型实现最先进的性能需要对每个数据集进行广泛的超参数调整。 **AutoLFADS 是一个模型调整框架，可以根据来自各种大脑区域和任务的数据自动生成高性能的自动编码模型，而无需行为或任务信息**。作者在几个恒河猴数据集上证明了其广泛的适用性。
Weakly-Supervised Video Moment Retrieval via Semantic Completion Network 论文阅读
最新发布
weixin_44609958的博客
09-11 1332
视频片段检索旨在根据给定的自然语言查询搜索与之最相关的片段。现有方法大多在全监督设置下进行训练，这需要为每个查询手动标注其对应的时间边界。然而，手动标注这些时间边界实际上既费时又昂贵。在本文中，我们提出了一种新颖的弱监督片段检索框架，仅需要粗略的、视频级别的标注用于训练。具体而言，我们设计了一个提案生成模块，该模块聚合上下文信息，一次性生成并评分所有候选提案。然后，我们设计了一种结合利用与探索的算法，选择前K个提案。
ACL 2024：交叉领域情感分析——论文阅读笔记
weixin_62472350的博客
09-11 1317
阅读了一篇ABSA的论文，在这里写下自己的一些理解小笔记，可能有点小乱，原文在这下面： 论文链接：Refining and Synthesis: A Simple yet Effective Data Augmentation Framework for Cross-Domain Aspect-based Sentiment Analysis - ACL Anthology 中文文章链接：论文速递丨ACL 2024：交叉领域情感分析 (qq.com) 大多数ABS
prompt: "--- more --- " answer: " "
05-27
这段代码的作用是在命令行输出中检查是否出现 `--- more ---`，如果出现则自动发送空格以继续显示输出。`prompt` 参数指定要检查的字符串，`answer` 参数指定要发送的响应。 在这个例子中，`--- more ---` 后面有一个空格，所以在 `prompt` 参数的值中也要包含这个空格。如果 `prompt` 参数的值不包含空格，则在发送空格时可能会出现问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值