DL-Paper精读：MobileBERT

最新推荐文章于 2023-04-21 21:28:32 发布
最新推荐文章于 2023-04-21 21:28:32 发布
阅读量342 收藏
点赞数
分类专栏： paper阅读 文章标签： 网络 深度学习 人工智能 机器学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li6016265/article/details/115842779
版权

MobileNERT: a Compact Task-Agnostic BERT for Resource-Limited Devices

https://arxiv.org/abs/2004.02984

Background

BERT在NLP领域的地位是举足轻重的，其预训练模型，在多种下游任务的迁移工作中都能给出非常好的效果。但于此同时，BERT也受困于其庞大的模型参数和较慢的运行速度，尤其是在于一些资源受限的移动端部署任务中，BERT的实际应用是非常受限的。

Related work and the limit

目前，针对BERT的压缩研究工作已有很多。比如distill BERT等工作，通过知识蒸馏，来获得一个高精度的小模型。但是这些工作一般都是基于具体下游任务场景的（“task-specifically”），这些工作的一般流程是首先将预训练的BERT模型在具体任务中进行fine-tune，然后再进行蒸馏来获得小模型。该过程是比较耗时且繁琐的，不如直接来fine-tune一个任务无关（“task-agnostic”）的小的预训练模型。但是如果直接预训练一个较窄或较浅的BERT，又会造成较严重的精度损失，无法达到原始BERT的精度。

Novel points

在预训练的阶段来进行知识蒸馏，获得一个压缩版的小BERT(m

最低0.47元/天 解锁文章
星月野
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[论文笔记]MobileBERT
日积月累，天道酬勤
10-23 432
⭐ 作者提出了MobileBERT，是一种任务无关的BERT变体，仅需简单的微调就能广泛地应用于不同的下游任务。MobileBERT被设计成和BERT-large一样深，是一种深而窄的结构，通过采用瓶颈结构与在自注意力和前馈网络之间的平衡来窄化每层。提出了替换层归一化和改用relu激活来提升模型的速度，但会有一定程度上(一个点左右)的性能下降。
谷歌提出任务无关的轻量级预训练模型MobileBERT：
02-23
本文来自于SIGAI公众号，由火龙果软件Anna编辑、推荐。近几年，NLP社区见证了一场预训练监督模型的革命。这些模型通常有数亿个参数，在这些模型中，BERT的精度提升最为显著。然而，作为NLP中最大的模型之一，BERT的模型容量大、时延高，使得资源有限的移动设备无法在基于移动的机器翻译、对话建模等方面发挥BERT的能力。目前业界已经做了一些努力，特别是针对特定任务对BERT模型进行蒸馏。据我们所知，目前还没有任何工作能构建出一个与任务无关的轻量级预训练模型，也就是说，它需要跟原始BERT一样能在不同的下游NLP任务上进行一般的微调。在本文中，我们提出了MobileBERT来填补这一空白。在实
MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices（2020-4-6）
weixin_49346755的博客
10-14 394
近年来，自然语言处理(NLP)通过使用具有数亿个参数的巨大预训练模型取得了巨大的成功。然而，这些模型受到沉重的模型尺寸和高延迟的影响，因此无法部署到资源有限的移动设备上。因此这里提出了MobileBERT来压缩和加速流行的BERT模型。与原始的BERT一样，MobileBERT是任务不可知论的，也就是说，它可以通过简单的微调通用地应用于各种下游NLP任务。基本上，MobileBERT是BERTLARGE​的精简版，同时配备了瓶颈结构和精心设计的在自注意和前馈网络之间的平衡。
MultiHeadAttension源码解析——batch_first参数含义
码农1479的博客
03-08 2984
简单介绍多头注意力源码中batch_first参数的含义和相关概念。
MobileBERT模型简单介绍
云隐雾匿的博客
04-21 803
可以看到在渐进式知识迁移中，词向量层和最终分类输出层的权重是直接从教师模型拷贝至学生模型的，始终不参与参数更新。首先，学生模型开始学习教师模型的第一层。接下来，学生模型继续学习教师模型的第二层，而此时学生模型的第一层权重是不参与更新的。依此类推，当学生模型学习教师模型的第i层时，学生模型中所有小于 i 层的权重均不参与更新。需要注意的是，由于MobileBERT（学生模型）与教师模型的层数一致（均为12层），这里不需要设计映射函数，只需要将教师模型和学生模型的每一层进行一一对应即可。
DL-面试笔记：深度学习机器学习
02-21
此外，DL / ML相关的，其他与算法岗相关的计算机知识也会记录。 但是不会包括如前端/测试/ JAVA / Android等职位中与具体语言，框架等有关的问题。 [] 参考 exacity / ：深度学习中文版 elviswf / ：深度学习面试...
youtube-dl-gui：youtube-dl脚本gui
02-22
youtube-dl-gui mkdir %userprofile%\youtube-dl-gui curl -L ...
dl-plus:具有可插拔提取器的youtube-dl扩展
05-03
dl-plus 具有可插拔提取器的扩展 描述 dl-plus是youtube-dl的扩展和直接替代。 该项目的主要目标是在保持完全向后兼容性的同时，向youtube-dl添加易于使用的提取程序插件系统。 dl-plus不是youtube-dl的分支，也不...
dl-4-tsc：时间序列分类的深度学习
02-04
时间序列分类的深度学习 这是发表在“时间序列分类的深度学习：评论”的配套资料库，该也可以在。 数据 该项目中使用的数据来自两个来源： ，其中包含85个单变量时间序列数据集。 ，其中包含13个多元时间序列数据...
单层感知器神经网络matlab代码-DL-:DL-
05-20
单层感知器神经网络matlab代码 自己搭建的一个框架，包含模型有：vgg(vgg16,vgg19), resnet(resnet_v2_50,resnet_v2_101,resnet_v2_152), inception_v4, inception_resnet_v2等。 代码有点小乱，欢迎帮忙整理。...
BERT知识蒸馏
yaohaishen的专栏
06-08 1448
预训练模型BERT以及相关的变体自从问世以后基本占据了各大语言评测任务榜单，不断刷新记录，但是，BERT庞大的参数量所带来的空间跟时间开销限制了其在下游任务的广泛应用。基于此，人们希望能通过Bert得到一个更小规模的模型，同时基本具备Bert的能力，从而为下游任务的大规模应用提供可能性。目前许多跟Bert相关的蒸馏方法被提出来，本章节就来分析下这若干蒸馏方法之间的细节以及差异。 知识蒸馏由两个模型组成，teacher模型跟student模型，一般teacher模型规模跟参数量都比较庞大，所以能力更强，
Transformer课程 第30章Transformer模型DeBERTa架构
段智华的博客
11-27 646
第30章：使用disentangled attention机制Transformer模型DeBERTa架构内幕及完整源码实现 1，使用两个vector来编码每个word的content和position 2，在pretraining阶段使用output enhanced mask decoder取代softmax layer对masked words预测的数学原理剖析 3，DebertaEmbeddings完整源码实现解析 4，DebertaPreTrainedModel完整源码实现解析 5，Disenta
MobileBERT架构
AS7062031的博客
08-15 514
整理自网络，主要方便自己查询和记忆 （a）BERT，（b）MobileBER Tteacher模型和（c）MobileBERT student模型中的Transformer架构可视化。标有“linear”的绿色梯形称为bottlenecks。 知识迁移技术 （a）辅助知识迁移，（b）联合知识迁移，（c）渐进知识迁移。 通过逐步的知识迁移过程来训练MobileBERT的这些变体是最有效 MobileBERT 在转换模块中引入了bottleneck，这使我们可以更轻松地将知识从大teac.
MobileBERT：一个在资源有限设备上使用的BERT模型
AI公园
07-22 2453
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Viktor Karlsson编译：ronghuaiyang导读在蒸馏之后对学生模型再进行微调，进一步提升能力。随着NLP...
Bert系列之知识蒸馏
zenRRan的博客
05-11 436
每天给你送来NLP技术干货！来自：NLP日志提纲1简介2 DualTrain+SharedProj3 DistilBERT4 LSTM5 PKD6 TinyBert7 MOBILEBERT8总结参考文献1 简介预训练模型BERT以及相关的变体自从问世以后基本占据了各大语言评测任务榜单，不断刷新记录，但是，BERT庞大的参数量所带来的空间跟时间开销限制了其在下游...
自然语言处理——基于预训练模型的方法——第8章 预训练语言模型进阶
谢谢你们的关注
07-09 1293
自然语言处理——基于预训练模型的方法——第8章 预训练语言模型进阶
模型压缩：量化、剪枝和蒸馏
小白学视觉
02-27 2420
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达编者荐语近年来，BERT 系列模型成了应用最广的预训练语言模型，随着模型性能的提升，其参数规模不断增大，推理速度也急剧提升，导致原始模型必须部署在高端的GPU 显卡上，甚至部分模型需要多块显卡才能正常运行。转载自丨博文视点Broadview前言 在移动智能终端品类越发多样的时代，为了让预训练语言模型可以顺利部署在算力和存储空间...
MobileBERT —资源受限设备上的任务无关BERT
lqfarmer的博客
08-15 403
随着NLP模型的规模增加到数千亿个参数，对这些模型进行高效的压缩也越来越重要。知识蒸馏成功地实现了这一目标，典型例子：student模型压缩了1/7却达到了模型96%的效果（https://medium.com/dair-ai/tinybert-size-does-matter-but-how-you-train-it-can-be-more-important-a5834831fa7d）。但是，在设计teacher模型时仍会考虑知识蒸馏，这可能会降低有效性，使student模型潜在的表现提高。 ...
06-01 15:46:59.758 4646 4646 F DEBUG : Revision: '0' 06-01 15:46:59.758 4646 4646 F DEBUG : ABI: 'arm' 06-01 15:46:59.758 4646 4646 F DEBUG : pid: 4642, tid: 4642, name: mytest >>> ./mytest <<< 06-01 15:46:59.758 4646 4646 F DEBUG : signal 11 (SIGSEGV), code 1 (SEGV_MAPERR), fault addr 0x0 06-01 15:46:59.758 4646 4646 F DEBUG : Cause: null pointer dereference 06-01 15:46:59.758 4646 4646 F DEBUG : r0 92fb5000 r1 9de3d7dc r2 9de3d7d8 r3 9de3d7e8 06-01 15:46:59.759 4646 4646 F DEBUG : r4 05080bd1 r5 9450680c r6 00000002 r7 00000000 06-01 15:46:59.759 4646 4646 F DEBUG : r8 00000000 r9 00000000 r10 00000000 r11 92fb5000 06-01 15:46:59.759 4646 4646 F DEBUG : ip ffffffda sp 9de3d718 lr 944d89b1 pc 00000000 06-01 15:46:59.775 4646 4646 F DEBUG : 06-01 15:46:59.775 4646 4646 F DEBUG : backtrace: 06-01 15:46:59.775 4646 4646 F DEBUG : #00 pc 00000000 <unknown> 06-01 15:46:59.775 4646 4646 F DEBUG : #01 pc 000e09af /system/lib/libavformat.so (avformat_find_stream_info+158) 06-01 15:46:59.775 4646 4646 F DEBUG : #02 pc 00000c0d /data/mytest (main+60) 06-01 15:46:59.775 4646 4646 F DEBUG : #03 pc 0008be09 /system/lib/libc.so (__libc_init+48) 06-01 15:46:59.775 4646 4646 F DEBUG : #04 pc 00000b8f /data/mytest (_start_main+46) 06-01 15:46:59.776 4646 4646 F DEBUG : #05 pc 00019ac7 /system/bin/linker (__dl__ZNSt3__112__hash_tableINS_17__hash_value_typeIjP6soinfoEENS_22__unordered_map_hasherIjS4_NS_4hashIjEELb1EEENS_21__unordered_map_equalIjS4_NS_8equal_toIjEELb1EEENS_9allocatorIS4_EEE14__erase_uniqueIjEEjRKT_+90) 06-01 15:46:59.776 4646 4646 F DEBUG : #06 pc 00020e8d [stack:9de1d000]
最新发布
06-02
这是一个Android系统的崩溃日志，其中包含了应用程序（名为 mytest）崩溃的相关信息。根据日志中的信息，可以看到这个崩溃是由于空指针引用导致的，具体的代码位置是 avformat_find_stream_info 函数，这个函数属于 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值