【论文笔记】Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks

最新推荐文章于 2024-04-30 20:52:07 发布
最新推荐文章于 2024-04-30 20:52:07 发布
阅读量1k 收藏 2
点赞数
分类专栏： 论文笔记 文章标签： 语言模型 人工智能 自然语言处理 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BodyCsoulN/article/details/121241864
版权
本文探讨了预训练语言模型在特定领域和任务中的适应性，提出DAPT（领域自适应预训练）和TAPT（任务自适应预训练）方法。研究发现，DAPT在领域差异较大的情况下能提升性能，而TAPT则利用任务相关数据进行预训练，资源消耗少但效果良好。DAPT+TAPT组合在多个任务中表现最佳，同时提出数据增强策略以优化TAPT。
摘要由CSDN通过智能技术生成

原文作者：Suchin Gururangan，Ana Marasović，Swabha Swayamdipta，Kyle Lo，Iz Beltagy，Doug Downey，Noah A. Smith

原文标题：Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks

原文来源：ACL2020

原文链接：https://www.aclweb.org/anthology/2020.acl-main.740.pdf

Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks

作者针对预训练模型是否仍然有助于特定领域的任务进行了研究，跨4个领域，8个分类任务，发现第二阶段的领域自适应预训练((domain-adaptive pretraining)仍然能够提高性能。另外，在DAPT之后，再进行TAPT(task-adaptive pretraining)也能够提高成绩。

DAPT

作者选择了四个领域的文本进行DAPT，分别是生物医学和计算机科学出版物、新闻、评论。原因是领域内的文本分类数据集可用，而且在之前的工作中也很常见。表1中列出了这四个数据集的信息。

请添加图片描述

作者首先进行了这四个领域与ROBERTA预训练领域相似性的分析。图二中为作者采样的

最低0.47元/天 解锁文章
论文阅读——Don‘t Stop Pretraining: Adapt Language Models to Domains and Tasks
SimonSmile的博客
10-13 3762
文章链接：https://www.aclweb.org/anthology/2020.acl-main.740.pdf 背景：预训练 在正式开始阅读论文之前，我们必须要理解nlp中语言模型的“预训练(pretraining)”。 我们知道，文本是不能直接输入神经网络的，因此需要找到关于文本的合理的数学表示方法，能将文本映射为向量，这些向量应该要包含文本的语法和语义信息，然后再将这些向量输入到下游任务的神经网络中进行训练。 因此，从2018年开始（这个时间点是论文里说的...），nlp的模型训练.
ACL2020论文整理
qq_26884231的博客
08-24 3815
ACL2020论文整理目录ACL2020论文整理ACL2020接受文章列表Best PaperHonorable Mention Papers – Main ConferenceBest Theme PaperHonorable Mention Paper – ThemeBest Demonstration PaperHonorable Mention Papers – Demonstrations论文分类整理（自己感兴趣的方向，loading）预训练语言模型信息抽取关系抽取事件抽取文本生成基础任务图卷积神
Don‘t Stop Pretraining: Adapt Language Models to Domains and Tasks
Jeaksun的博客
07-26 598
现有的语言模型大多是在大量且广泛的文本数据上训练而成的。作者思考有没有必要将模型迁移到特定目标任务领域上。作者在4个领域上的8个分类任务，将已经在大量且广泛文本上预训练过的模型进行第二阶段的预训练，作者分别在领域数据、任务数据、增强的任务数据进行了试验，即用这些数据对模型进行第二阶段的预训练，然后再用经过两个预训练阶段后得到的模型生成的数据做分类任务。试验结果表明，不要停止预训练，对于特定的任务，完全可以用任务相关的数据在对语言模型做第二次预训练，能大大提高模型性能。...
【论文泛读】Don‘t Stop Pretraining: Adapt Language Models to Domains and Tasks
⛄
03-27 540
背景（nlp中语言模型的“预训练(pretraining)”） ==解决问题== ==解决对策== ==未来的研究方向==
Re26：读论文 Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
诸神缄默不语的博客
08-22 753
论文阅读笔记：Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
ACL20 - Don‘t stop pretraining: adapt language models to domains and tasks
ywm_up
12-12 272
[1]Gururangan S, Marasović A, Swayamdipta S, et al. Don’t stop pretraining: adapt language models to domains and tasks[J]. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. (ACL 2020). 文章目录AbstractIntroductionDomai
Don't stop pretraining，继续预训练！
Kaiyuan_sjtu的博客
10-10 1518
作者|周俊贤整理|NewBeeNLP大家在用BERT等预训练模型的时候，是否有根据具体的下游任务，再进行领域的预训练？可能很多朋友是直接进行fine tuning的，毕...
dont-stop-pretraining:与``不要停止预培训ACL 2020''论文相关的代码
03-20
title = { Don't Stop Pretraining: Adapt Language Models to Domains and Tasks } , year = { 2020 } , booktitle = { Proceedings of ACL } , } 安装 conda env create -f environment.yml co
NLP：继续预训练 Don’t Stop Pretraining.pdf
04-21
本文“Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks”深入探讨了预训练模型在特定领域和任务上的适应性，并提出了两个关键的概念：领域适应性预训练（DAP）和任务适应性预训练（TAP）。...
ACL20 best paper荣誉提名 | DO NOT STOP Pre-training！
夕小瑶科技说
07-09 1213
星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术文 |JayLou娄杰（NLP算法工程师，信息抽取方向）编 | 可盐可甜兔子酱在昨晚23点的best paper典礼上我惊了...
推荐开源项目：Don't Stop Pretraining - 持续预训练的新探索
gitblog_00092的博客
04-19 317
推荐开源项目：Don't Stop Pretraining - 持续预训练的新探索 去发现同类优质开源项目:https://gitcode.com/ 项目简介 是由AllenAI研究所开发的一个深度学习项目，其核心是研究如何通过持续的预训练来提升语言模型的性能。项目基于Hugging Face的Transformers库，旨在探索Transformer架构的语言模型在大规模数据集上无休止预训练的潜...
active directory domain services自动停止_ACL2020 Best Paper提名奖：不要停止预训练！
weixin_33224795的博客
12-05 204
在昨晚23点的best paper典礼上我惊了，这篇看似标题党的论文获得了今年ACL2020 best paper荣誉提名！PS：今年一共只有2篇最佳论文提名，完整获奖名单戳这里。我的这篇专栏文章完成于6月22日，没想到居然获得最佳论文提名了（意外～）！回想当初写这篇文章的初衷，大概是这个paper比较轻松、直抒胸臆吧～，同时在做医疗NLP任务的时候，发现BERT在自己的大量医疗语料中继续预训练，...
Domain adaptation from daytime to nighttime: A situation-sensitive vehicle detection and traffic…（翻）
悠悠小船长的博客
03-08 751
白天到夜间的域适应：一种情境灵敏的车辆检测与交通流参数估计框架
[AI医学] 医学领域几个微调&预训练大模型的项目
chenyang2203的博客
05-15 7107
一是对海量领域数据继续进行生成式语言模型预训练（continue pretrain）；二是在通用大模型的基础上引入领域数据进行指令微调训练（通用大模型底座+领域数据指令微调）；生成式语言模型继续预训练对数据量和计算资源的要求较高，目前大部分项目的工作多是集中在对通用模型进行领域数据指令微调训练。在指令微调训练方面，差异性的工作主要表现在「领域样本数据的生成」（如各种self-instruct生成样本）和「低资源训练」上（如各种PEFT方法进行部分参数的微调）。医学领域大模型建设是有其必要性的。
【论文阅读】ChipNeMo中的数据集处理
最新发布
bylander的博客
04-30 1900
1）对于数据集，除了领域数据，依然需要公共数据，避免由于微调带来模型原有能力的灾难性遗忘。2）需要有领域评估基准，同样的，评估基准需要包含公共的LLM学术基准。3）数据重采样，这个方面，比如文章提到“对代码数据进行了下采样，同时对自然语言数据，特别是设计文档进行了上采样”等，但是，具体的采样比例如何获得，文章并没有说。参考其他来源，数据重采样的合适比例，应该是通过尝试获得，训练后如果评估效果不好，相应调整数据采样比例，反复试验获得的良好的评估结果。
生物医药相关大模型：BioMedLM、Mixtral_BioMedical、Med-PaLM2、BioMistral、BioMedGPT、OpenBioLLM
weixin_42357472的博客
04-13 1029
BioMedLM：Med-PaLM：BioMedGPT：主要就是将生物医药相关知识，文本、图像等多模态数据进行构建的行业大模型进行知识问答。
探秘BioMedLM：深度学习在生物医学文本挖掘中的新星
gitblog_00029的博客
04-26 593
探秘BioMedLM：深度学习在生物医学文本挖掘中的新星 去发现同类优质开源项目:https://gitcode.com/ 项目简介 是由斯坦福大学CRFM团队开发的一个项目，它是一个专门用于生物医学文本的预训练语言模型。该模型旨在利用大规模生物医学文献数据，提升对这一领域特定术语和概念的理解，从而辅助科研人员进行信息提取、关系抽取、文献检索等任务。 技术分析 BioMedLM的核心是基于Tran...
ACL2020 奇葩论文标题大赏
夕小瑶科技说
07-17 802
星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术文 |灵魂写手rumor酱编 | 不拖更的夕小瑶又是一年一度的ACL，之前通过卖萌屋Arxiv服务已经零零碎碎看了一些，还是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>