ALBERT 论文笔记

已于 2022-10-21 16:46:29 修改
阅读量330 收藏
点赞数
文章标签： 论文阅读 深度学习 自然语言处理
于 2022-10-21 16:35:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuaiZuJiaoFu/article/details/127449103
版权

单位：Google Research
时间：2020.2
发表：ICLR2020
论文链接：https://arxiv.org/abs/1909.11942

一、前言

1. ALBERT想做些什么？

深度学习在模型结构想不到更好的后，就会想到增加模型的规模即深度和宽度，google团队在提出bert模型后也如是思考，想通过增加bert的宽度来提高效果。

但bert模型再预训练时已经很大了，强如google拥有这么好的TPU集群，增加self_attention神经元个数至2048时也跑不动。于是乎便想找方法来减少模型的参数，让更深更宽的bert可以训练。

2. ALBERT做到了什么？

在论文的摘要中，作者如是说：

综合经验证据表明，我们提出的方法导致的模型与原始的BERT相比，其规模大小要好得多。我们的最佳模型在GLUE、RACE和SQuAD基准上建立了新的最先进的结果，而与BERT-large相比，其参数更少

提出的ALBERT-base模型，表现与BERT-base相当，其参数量仅仅是后者的十分之一！

不过这里要先泼一泼冷水，如果你想要的是一个预测时间大幅减少在低算力的服务器能上线的模型的话，那么AL

最低0.47元/天 解锁文章
shuaiZuJiaoFu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
[论文笔记]ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS
日积月累，天道酬勤
09-13 595
引言 本文是ALBERT1的论文笔记。 ALBERT(A Lite BERT)可以看成是BERT的精简版，现在像GPT-3这种模型大到无法忍受。 ALBERT提供了另一种思路，通过parameter-reduction(参数精简)技术降低内存消耗同时增加BERT的训练速度。 核心思想 作者设计了精简版(Lite)的BERT架构——ALBERT，和传统的BERT架构相比参数量有显著的减少。 ALBERT合并了两种精简参数的技术消除扩展预训练模型的主要障碍。 第一种是嵌入参数因式分解(factorized e
【论文阅读】AlBert: A Lite Bert For Self-Supervised Learning Of Language Representations
敷衍zgf的博客
11-12 751
论文阅读AlBert: A Lite Bert For Self-Supervised Learning Of Language Representations（语言表示自监督学习的简化版）
ALBert论文阅读笔记-缩减版的bert，模型参数更少，性能更好
Bigbao的专栏
10-23 1598
引言 自从Bert被提出来后，后续的研究者大多基于bert进行改造，提升预训练语言模型性能，从而提高下游任务的性能。比如ERINE、BERT_WWM、MASS、MT-DNN、RoBERT等等。从GLUE榜上我们可以看到，似乎现在的语言模型有越来越大的趋势，虽然我们的训练资源也是从GPU单卡到GPU多卡，到现在TPU，但不是每个公司都这么有钱，特别对个人，有可能就是一块卡，怎么样在资源有限的情况下，...
论文阅读---Albert :Few-shot Learning with Retrieval Augmented Language Models
最新发布
2202_75787160的博客
03-26 1419
论文阅读---Albert :Few-shot Learning with Retrieval Augmented Language Models
BERT的优秀变体：ALBERT论文图解介绍
喜欢打酱油的老鸟
06-17 1793
2020-06-15 09:22:09 作者：amitness 编译：ronghuaiyang 正文共： 3116 字 21 图 预计阅读时间： 9 分钟 导读 ALBERT作为BERT的一个变体，在保持性能的基础上，大大减少了模型的参数，使得实用变得更加方便，是经典的BERT变体之一。 考虑下面给出的句子。作为人类，当我们遇到“apple”这个词时，我们可以： 把“apple”这个词和我们对“apple”这个水果的表征联系起来 根据上下文将“apple”与水果联系在一起，而不是与
Albert
10-25
标题“Albert”指的是一个特定的字体，这在IT行业中，特别是设计和排版领域是非常重要的。字体是文本的视觉表现形式，它决定了字符的形状、大小、风格和间距，从而影响到阅读体验和视觉效果。Albert字体可能是一个...
基于轻量级albert实现albert+BiLstm+CRF的python源码.zip
03-02
基于轻量级albert实现albert+BiLstm+CRF的python源码.zip基于轻量级albert实现albert+BiLstm+CRF的python源码.zip基于轻量级albert实现albert+BiLstm+CRF的python源码.zip基于轻量级albert实现albert+BiLstm+CRF的...
R Albert的经典论文(1)
03-30
R Albert的经典论文,有进行复杂网络研究的肯定需要
Albert-开源
04-22
**Albert：开源文档生成器** Albert，一个在Common Lisp编程语言环境中的开源文档生成工具，类似于Java中的Javadoc和C++中的Doxygen。这个工具专为开发者设计，旨在帮助他们轻松地创建和维护项目的文档。Albert的...
ALBERT论文笔记
从网络到AI，从学术界到产业界，随着兴趣去逐梦
12-17 666
1. 论文研读笔记 1.1 研究动机 Bert系列近期又一篇值得去看的论文，相比于RoBerta对于调参的偏向，Albert出发点其实是模型的压缩，即减少模型参数的同时，尽可能保证Bert模型对于下游任务的性能。减小模型参数的好处文章给出了明晰的归纳：1）降低显存压力 2）提高训练速度 3）增加模型泛化能力（类比正则） 。 其实，从文章的实验思路，还有一条非常很强烈的动机，即如何把bert模型做的...
经典论文阅读（7）——ALBERT
fmf1287的博客
12-28 1708
在对自然语言表示进行预训练时，增加模型大小通常可以提高下游任务的性能。然而，在某些情况下，由于GPU/TPU内存的限制和更长的训练时间，进一步增加模型变得更加困难。ALBERT提出了两种参数减少技术，以降低内存消耗，提高BERT的训练速度，并且利用了一种自我监督的loss对句子连贯性构建。第一个是分解的embedding参数化。通过将大的词汇表嵌入矩阵分解为两个小的矩阵，将隐藏层的大小与词汇表嵌入的大小分开。这种分离使得在不显著增加词汇表嵌入的参数大小的情况下更容易增加隐藏大小。第二种技术是跨层参...
【论文学习】ALBERT
weixin_44815943的博客
08-16 225
目录简介ALBERT三大改进 简介 为了加速计算，以及克服hidden size 、hidden layer等超参数值增大，导致模型退化的问题，ALBERT（A Lite BERT）提出来两种参数优化的技术——“embedding layer分解、跨层参数共享”， 并增加SOP（Sentence Order Prediction）任务替换NSP（Next Sentence Prediction）任务。 ALBERT三大改进 ALBERT的结构与BERT十分类似，只是在以下三个方面做了优化： embeddin
一文揭开ALBERT的神秘面纱
热门推荐
u012526436的博客
10-02 3万+
前言 RoBERTa没霸榜几天，这不Google爸爸就又放大招，这次的新模型不再是简单的的升级，而是采用了全新的参数共享机制，反观其他升级版BERT模型，基本都是添加了更多的预训练任务，增大数据量等轻微的改动。这次ALBERT的改进，不仅提升了模型的整体效果再一次拿下来各项榜单的榜首，而且参数量相比BERT来说少了很多。 对于预训练模型来说，提升模型的大小是能对下游任务的效果有一定提升，然而如果进...
解读ALBERT
小岁月太着急
09-27 2万+
论文地址：https://openreview.net/pdf?id=H1eA7AEtvS 中文预训练ALBERT模型：https://github.com/brightmart/albert_zh 曾经，预训练是大模型（玩家）的天下 语言表征学习领域的这些进展表明，大模型对于实现 SOTA 性能表现极其重要。预训练大模型，并在实际应用中将它们提炼成更小的模型已经成为一种常见的做法。考虑...
ALBERT论文阅读: 一种轻量级的BERT
qq_35170217的博客
10-21 329
ALBERT论文阅读: 一种轻量级的BERT1、作者动机2、模型具体细节2.1、模型的结构2.2、分解嵌入参数2.2、跨层参数共享 1、作者动机   动机就是原始的BERT模型太大，训练时间太久。作者希望能够将原始的bert模型轻量化。   在BERT模型出来后，很多人也意识到这个问题，提出了各种各样的解决方案。对于BERT模型训练速度的问题有的方案是使用分布式训练，但是分布式训练有个问题：在分布式训练中，训练速度也会受到很大的影响，因为通信开销与模型中参数的数量成正比。当然了，还有人使用蒸馏技术来缩小原始
论文阅读之ALBERT
SimonChen
05-01 283
论文：ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
ALBERT：轻量级BERT推动自然语言理解的新进展
论文《Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding》（2018年）由Devlin等人提出，是BERT的开创性工作，展示了深度双向Transformer在语言理解任务上的巨大潜力。ALBERT在此...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值