NAS-Bert——确保One-shot与Task-agnostic

最新推荐文章于 2022-10-15 22:36:13 发布
最新推荐文章于 2022-10-15 22:36:13 发布
阅读量653 收藏
点赞数 1
分类专栏： NAS Transformer 自然语言处理 文章标签： 深度学习 人工智能 模型压缩 网络结构搜索 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nature553863/article/details/120764285
版权

Paper地址：https://arxiv.org/abs/2105.14444

概述

NAS-Bert在大规模预训练阶段（Bert自监督预训练），通过实施权重共享形式的One-shot NAS，实现了Once for all与Task-agnostic两个目的，分别满足不同平台资源约束的压缩需求、以及不同下游任务的迁移训练需求。

Method

  • 搜索空间：基于Weight-sharing的特点（Single-path One-shot形式），每个Bert layer（进一步细分为2个Sub-layer）由一系列候选的Block-choice并排而成，共同构成了超网络。这些Block-choice包括MHA、FFN、SepConv与Identity四个基本模块结构，且由不同的Attention heads数、Hidden size与kernel size决定了26个候选的Operations。搜索空间具体如下所示：

最低0.47元/天 解锁文章
Law-Yao
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
K-BERT：K-BERT（AAAI2020）的源代码
02-03
伯特 基于框架实现的实现代码和数据集。 要求 软件： ... K-BERT的目录树： K-BERT ├── brain │ ├── config.py │ ├── __init__.py │ ├── kgs │ │ ├── CnDbpedia.spo │ │ 
简单学点大模型-大模型之Adaptation
2201_75734742的博客
09-20 458
例如，在“I am learning LLM”的句子中，“-am”是辅助动词，“ learning”是主要动词，“ I”是主语名词，而“ LLM”是宾语。具体地，对于一个在训练在主任务上的大型神经网络，Probe是一个插入在其中间层的浅层神经网络，通常是一个分类器层。常见的做法是使用预训练的网络（例如在ImageNet上训练的分类1000类的网络）来重新fine-tuning（也叫微调），或者当做特征提取器。：模型微调可以获得更好的零样本学习能力，以适应新的、没有在训练中出现过的下游任务。
持续学习+元学习+无监督学习文章调研（四）
weixin_42939529的博客
03-04 1208
持续学习+元学习+无监督学习文章调研（四）文章Task Agnostic Continual Learning via Meta Learning, arXiv 1906.05201任务定义框架定义：What&How框架实现与实验结果评价Few-shot Continual Learning: a Brain-inspired Approach, Arxiv 2104.09034任务定义持续学习和小样本泛化能力的相互干扰解决方案：正则化和快慢网络（元学习）实验结果 文章 Task Agnostic
论文阅读问题总结(五)：Task-Agnostic Meta-Learning for Few-shot Learning
qq_32599109的博客
03-23 302
1.本文作者提出了什么问题？ 当前基于梯度的元学习方法(MAML, Reptile)虽然针对模型学习到了可以泛化到不同task的初始化参数，但作者指出学习到的初始化参数并不是针对各个task都可以很好地泛化，对与training task相似的task可以快速泛化且perform well，但对一个与training task相似度较低的new task并不一定能很好地泛化。总而言之学到的初始化参数模型是一个有偏(biased)的模型。 2.针对上述问题，作者提出的解决思路？ 1.outer-loop设计一
论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）
夏栀的博客
04-26 1284
论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）   通常的，元学习可以被在多个任务（task）上训练以期望能够泛化到一个新的task。然而当在现有的task上过度地学习（过拟合），在新的task泛化能力会变差。换句话说，初始的meta-learner在现有的task上会学习到有偏的知识（bias），特别是样本数量非常少的情况下。为了避免在样本数量非常少时，meta-learner会学习到有偏的信息，本文提出一种Task-Agnosti
保姆级带你深入阅读NAS-BERT
华为云官方博客
10-19 1105
摘要：本文用权重共享的one-shot的NAS方式对BERT做NAS搜索。
fast-bert:超级简单的库，用于基于BERT的NLP模型
05-13
Fast-Bert是一个深度学习库，允许开发人员和数据科学家针对基于文本分类的自然语言处理任务训练和部署基于BERT和XLNet的模型。 FastBert的工作建立在优秀的提供的坚实基础上，并受到启发，并致力于为广大的机器...
ToD-BERT:ToD-BERT的预训练模型
04-13
TOD-BERT：面向任务的对话的预训练自然语言理解 作者：，，和。 EMNLP2020。论文： ：//arxiv.org/abs/2004.06871 介绍 一般文本和面向任务的对话之间的语言模式之间的根本差异使得现有的经过预先训练的语言模型在...
beto：BETO-BERT模型的西班牙语版本
02-03
在NLP（自然语言处理）领域，BERT（Bidirectional Encoder Representations from Transformers）模型已经成为一个重要的里程碑，它革新了预训练语言模型的设计。本文将深入探讨BETO，这是BERT模型的一个西班牙语版本...
chinese-bert-wwm-ext.rar
02-07
《哈工大版Chinese-BERT-wwm-ext for PyTorch深度解析》 在自然语言处理（NLP）领域，预训练模型已经成为基石，而BERT（Bidirectional Encoder Representations from Transformers）模型更是其中的明星。本文将深入...
008 Task-Agnostic Privacy-Preserving Representation Learning via Federated Learning（隐私对抗训练PAT）
Uzz_yuzaizai的博客
06-28 398
借助联邦学习的任务不可知的隐私保护 方法：PAT（隐私对抗训练）算法，从特征中隐藏隐私信息（模拟了努力从提取的特征中推断隐私属性的对手和旨在保护用户隐私的防御者之间的博弈）——>提出MaxMI算法保留原始信息（目的是最大化原始数据特征之间的相互信息，以及私有信息与保留信息之间的联合）...
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
afanti_1的博客
04-16 999
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding VLM：用于视频理解的任务无关的视频语言模型预训练
论文解读VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
qq_41932160的博客
03-04 1056
简介 vlm是一个task-agnostic multi- modal pre-training approach。无特定任务的多模态预训练方法。用于视频理解。主要贡献如下： In summary, the main contributions of this paper are as follows: (1) we propose to pre-train a task- agnostic encoder for video understanding; (2) we introduce masked m
MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices（2020-4-6）
weixin_49346755的博客
10-14 387
近年来，自然语言处理(NLP)通过使用具有数亿个参数的巨大预训练模型取得了巨大的成功。然而，这些模型受到沉重的模型尺寸和高延迟的影响，因此无法部署到资源有限的移动设备上。因此这里提出了MobileBERT来压缩和加速流行的BERT模型。与原始的BERT一样，MobileBERT是任务不可知论的，也就是说，它可以通过简单的微调通用地应用于各种下游NLP任务。基本上，MobileBERT是BERTLARGE​的精简版，同时配备了瓶颈结构和精心设计的在自注意和前馈网络之间的平衡。
论文解读 MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning
lftxd1的博客
10-15 351
MTL_NAS
Task-Agnostic Meta-Learning for Few-shot Learning 论文笔记
qq_30146937的博客
03-26 1113
前言 最近越来越多的工作使用元学习来处理小样本学习问题。一般来说，元学习模型包括两部分：初始模型和更新策略，其中初始模型是在大量任务上进行训练得到的，更新策略是为了使初始模型能够适应一个只有少量样本的新任务。所以元学习的目标就是，能够自动学习初始模型和更新策略的最优参数，从而使得模型能够泛化到各种其它任务上。 然而，现有的元学习方法存在一个普遍问题，就是初始模型在训练时可能对某些任务有偏差，即更偏...
深度学习：BERT模型
热门推荐
皮皮blog
12-18 4万+
BERT出自的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder。作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
CVPR 2019 ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language
smile909的博客
04-17 870
动机 现存方法的两大局限性： 视觉理解任务使用的主要策略是先基于其他大规模任务分别预训练视觉和语言模型，然后将其作为具体任务的一部分基础知识。然而，1）这种方案学习到的基础知识并不牢靠，当visiolinguistic data有限或者有偏时(biased)，模型的泛化能力很差。此外，2）在单模态数据上学习的近乎完美的表征，往往忽略了与其他模态之间的联系。比如，即使狗品种分类的视觉表征是完美的，但在下游任务中模型若无法将该视觉表征与形如"小猎犬"或"牧羊人"这样的近似短语进行关联，这种完美的视觉表征也是近乎
【论文翻译】Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
weixin_40523230的博客
12-16 5790
最近集中火力肝imitation learning。。MAML是一个重要的方法论，写给自己凑活看的。。。。开始 Abstract 本文针对meta-learning提供了一种模型不可知的的算法，适用于任何基于梯度下降的模型，可以应用于不同的学习问题：分类/回归/RL。meta-learning的目标是：“基于不同的任务进行训练，接下来只需要少数训练样本就可以完成新任务”。在“从新任务中获...
Sentence-Bert
最新发布
10-26
对于引用中的例子，可以使用Sentence-Bert来计算Anchor句子与Positive句子的相似度和Anchor句子与Negative句子的相似度，从而判断Positive句子是否与Anchor句子含义相近，Negative句子是否与Anchor句子含义相远。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值