ALBert论文阅读笔记-缩减版的bert，模型参数更少，性能更好

最新推荐文章于 2024-07-22 09:29:50 发布
最新推荐文章于 2024-07-22 09:29:50 发布
阅读量1.7k 收藏 4
点赞数
分类专栏： 自然语言(nlp)论文阅读笔记 文章标签： 自然语言处理 深度学习 论文 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014400239/article/details/102709166
版权
ALBERT是Google在2019年提出的一种轻量级BERT变体，旨在减少模型参数量，提高训练和推断效率。论文通过词向量分解和层间参数共享等方法降低模型复杂度，并引入SOP预训练任务增强句子连贯性学习。实验表明，ALBERT在保持甚至超越BERT性能的同时，参数量显著减少。
摘要由CSDN通过智能技术生成

引言

自从Bert被提出来后，后续的研究者大多基于bert进行改造，提升预训练语言模型性能，从而提高下游任务的性能。比如ERINE、BERT_WWM、MASS、MT-DNN、RoBERT等等。从GLUE榜上我们可以看到，似乎现在的语言模型有越来越大的趋势，虽然我们的训练资源也是从GPU单卡到GPU多卡，到现在TPU，但不是每个公司都这么有钱，特别对个人，有可能就是一块卡，怎么样在资源有限的情况下，玩起来这些高大上的模型了？我们知道bert的base版本12层，参数量接近110M，这样大的模型在线上部署的时候效果是怎么样的？下表是在linux环境下基于GTX 1080运行结果。

</
环境 序列长度 请求次数 总时间(s) 平均耗时(ms)
GPU+checkpoint 128 10000 135.6 13.56
GPU+checkpoint 12 1000 10.3 10.3
CPU+checkpoint 128 1000 212 212
CPU+checkpoint 12 1000 83 83
CPU+tfserving 128 1000 351 351
最低0.47元/天 解锁文章
bigbao_num
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[论文笔记]ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS
日积月累，天道酬勤
09-13 617
引言 本文是ALBERT1的论文笔记。 ALBERT(A Lite BERT)可以看成是BERT的精简版，现在像GPT-3这种模型大到无法忍受。 ALBERT提供了另一种思路，通过parameter-reduction(参数精简)技术降低内存消耗同时增加BERT的训练速度。 核心思想 作者设计了精简版(Lite)的BERT架构——ALBERT，和传统的BERT架构相比参数量有显著的减少。 ALBERT合并了两种精简参数的技术消除扩展预训练模型的主要障碍。 第一种是嵌入参数因式分解(factorized e
[Python人工智能] 四十二.命名实体识别 (3)基于Bert+BiLSTM-CRF的中文实体识别万字详解（异常解决中）
杨秀璋的专栏
03-05 854
从本专栏开始，作者正式研究Python深度学习、神经网络及人工智能相关知识。前文讲解如何实现中文命名实体识别研究，构建BiGRU-CRF模型实现。这篇文章将继续以中文语料为主，介绍融合Bert的实体识别研究，使用bert4keras和kears包来构建Bert+BiLSTM-CRF模型。然而，该代码最终结果有些问题，目前还在解决中，但现阶段方法先作为在线笔记分享出来。基础性文章，希望对您有帮助，如果存在错误或不足之处，还请海涵。且看且珍惜！
R Albert的经典论文(1)
03-30
R Albert的经典论文,有进行复杂网络研究的肯定需要
谷歌最新模型pQRNN：效果接近BERT，参数量缩小300倍
zenRRan的博客
10-08 549
来自：NLPCAB文本分类是NLP最常见的应用之一，有了BERT之后更是可以通过小批量数据精调达到不错的效果。但在对速度要求高、没有钱买GPU、移动设备部署的场景下，还是得用浅层网络。今...
学习记录--Bert、Albert、RoBerta
最新发布
qq_43728463的博客
07-22 1013
BERT在提出的时候提供了两种预训练任务，一个是遮蔽语言模型，即以一定比例随机遮蔽一定比例的输入标记，然后预测那些被遮蔽的标记的预训练任务（PS：ALBERT也不是直接做这个任务，而是换成N-gram的预测任务），另一个则是预测第二个句子是不是第一个句子的下一句。因此，他们认为，词嵌入的维度可以不必与隐藏层的维度一致，可以通过降低词嵌入的维度的方式来减少参数量。在 ALBERT 中，全连接层、注意力层的参数均是共享的，也就是 ALBERT 依然有多层的深度连接，但是各层之间的参数是一样的。
第四章_经典网络
weixin_42631192的博客
11-12 475
文章目录第四章 经典网络4.1 LeNet54.1.1 模型结构4.1.2 模型结构4.1.3 模型特性4.2 AlexNet4.2.1 模型介绍4.2.2 模型结构4.2.3 模型解读4.2.4 模型特性4.3 可视化ZFNet-转置卷积4.3.1 基本的思想及其过程4.3.2 卷积与转置卷积4.3.3 卷积可视化4.3.4 ZFNet和AlexNet比较4.4 VGGNet4.4.1 模型结构...
ALBERT 论文学习
weixin_44729115的博客
05-16 249
摘要 1.现象：在预训练时增加模型尺寸可以改善下游任务上的性能。然而在某种程度上，改善模型会变得更困难由于GPU或TPU的存储限制，更长的训练时间和意想不到的模型退化。总的来说，就是预训练模型参数过多，训练速度慢。 2.解决措施： 提出了两种参数削减技术来降低存储消耗并且提高了BERT的训练速度。 使用一种关注模型句子间的连贯性的自监督损失，表明这种方法在多句子输入的下游任务有帮助。 介绍...
【论文学习】ALBERT
weixin_44815943的博客
08-16 235
目录简介ALBERT三大改进 简介 为了加速计算，以及克服hidden size 、hidden layer等超参数值增大，导致模型退化的问题，ALBERT（A Lite BERT）提出来两种参数优化的技术——“embedding layer分解、跨层参数共享”， 并增加SOP（Sentence Order Prediction）任务替换NSP（Next Sentence Prediction）任务。 ALBERT三大改进 ALBERT的结构与BERT十分类似，只是在以下三个方面做了优化： embeddin
ALBERT 论文笔记
shuaiZuJiaoFu的博客
10-21 340
《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》
论文笔记 - 预训练模型综述
Pumpkin_DAYTOY
04-14 1488
文献题目：Pre-trained Models for Natural Language Processing: A Survey 文献来源：复旦大学 原文链接：https://arxiv.org/pdf/2003.08271.pdf NLP常见术语 lookup table：查找表，在NLP中代表一个券连接的权重矩阵 WWW，输入是稀疏向量的情况下，可以直接查表相加替代矩阵相乘。 toke...
ALBERT论文阅读: 一种轻量级的BERT
qq_35170217的博客
10-21 359
ALBERT论文阅读: 一种轻量级的BERT1、作者动机2、模型具体细节2.1、模型的结构2.2、分解嵌入参数2.2、跨层参数共享 1、作者动机   动机就是原始的BERT模型太大，训练时间太久。作者希望能够将原始的bert模型轻量化。   在BERT模型出来后，很多人也意识到这个问题，提出了各种各样的解决方案。对于BERT模型训练速度的问题有的方案是使用分布式训练，但是分布式训练有个问题：在分布式训练中，训练速度也会受到很大的影响，因为通信开销与模型中参数的数量成正比。当然了，还有人使用蒸馏技术来缩小原始
论文阅读之ALBERT
SimonChen
05-01 298
论文：ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
ALBERT论文笔记
从网络到AI，从学术界到产业界，随着兴趣去逐梦
12-17 674
1. 论文研读笔记 1.1 研究动机 Bert系列近期又一篇值得去看的论文，相比于RoBerta对于调参的偏向，Albert出发点其实是模型的压缩，即减少模型参数的同时，尽可能保证Bert模型对于下游任务的性能。减小模型参数的好处文章给出了明晰的归纳：1）降低显存压力 2）提高训练速度 3）增加模型泛化能力（类比正则） 。 其实，从文章的实验思路，还有一条非常很强烈的动机，即如何把bert模型做的...
BERT的youxiu变体：ALBERT论文图解介绍
AI公园
05-18 534
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：amitness编译：ronghuaiyang正文共：3116字21图预计阅读时间：9分钟导读ALBERT作为...
论文阅读---Albert :Few-shot Learning with Retrieval Augmented Language Models
2202_75787160的博客
03-26 1454
论文阅读---Albert :Few-shot Learning with Retrieval Augmented Language Models
【论文阅读】AlBert: A Lite Bert For Self-Supervised Learning Of Language Representations
敷衍zgf的博客
11-12 795
论文阅读AlBert: A Lite Bert For Self-Supervised Learning Of Language Representations（语言表示自监督学习的简化版）
成本砍砍砍！不用数据也能用 BERT 做对比学习？
夕小瑶科技说
07-20 458
文 | 小昌编 | 小戏大家好，我是小昌，今天和大家聊一聊如何从 BERT 中获取好的句子表征。大家都知道，BERT 的设计初衷是为了获得更好的单词表征。但是，利用 BERT 来表征句子的...
经典论文阅读（7）——ALBERT
fmf1287的博客
12-28 1722
在对自然语言表示进行预训练时，增加模型大小通常可以提高下游任务的性能。然而，在某些情况下，由于GPU/TPU内存的限制和更长的训练时间，进一步增加模型变得更加困难。ALBERT提出了两种参数减少技术，以降低内存消耗，提高BERT的训练速度，并且利用了一种自我监督的loss对句子连贯性构建。第一个是分解的embedding参数化。通过将大的词汇表嵌入矩阵分解为两个小的矩阵，将隐藏层的大小与词汇表嵌入的大小分开。这种分离使得在不显著增加词汇表嵌入的参数大小的情况下更容易增加隐藏大小。第二种技术是跨层参...
albert-bilstm-crf模型训练
09-02
为了训练Albert-BiLSTM-CRF模型，可以按照以下步骤进行： 1. 首先，准备训练数据。根据你的任务类型，将数据标注为不同的标签。确保数据格式符合模型的输入要求。 2. 接下来，根据已有的Albert-CRF模型代码为基础，参考网上的Albert-BiLSTM-CRF模型进行修改。主要修改的地方是数据传递类型，比如将Albert模型训练得到的embedding传入BiLSTM。 3. 使用训练好的Bert/Albert模型作为初始权重，加载预训练的模型参数。这可以帮助提高模型的性能。 4. 定义模型架构。在Albert-BiLSTM-CRF模型中，先通过Albert模型获取词嵌入（embedding），然后将词嵌入输入到BiLSTM层中进行序列建模，最后使用CRF层进行标签预测。 5. 编译模型并设置损失函数和优化器。对于序列标注任务，常用的损失函数是CRF损失函数，常用的优化器是Adam或者SGD。 6. 开始模型训练。将准备好的训练数据输入到模型中，使用反向传播算法更新模型的权重。可以设置合适的批次大小和训练轮数来进行训练。 7. 监控训练过程中的性能指标，比如损失值和准确率。可以使用验证集来评估模型在未见过的数据上的性能。 8. 进行模型调优。根据训练过程中的性能指标，可以尝试调整模型结构、超参数或者训练策略来提高模型的性能。 9. 最后，保存训练好的Albert-BiLSTM-CRF模型，以备后续使用。 请注意，在训练过程中可能需要进行一些调试和优化，例如调整学习率、正则化参数等。同时，合理的数据预处理和特征工程也可以对模型的性能产生影响。因此，根据实际情况进行调整和优化。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [【NLP_命名实体识别】Albert+BiLSTM+CRF模型训练、评估与使用](https://blog.csdn.net/YWP_2016/article/details/114648476)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [程序员5个刷题网站-keras-bert-ner:中文NER任务使用BiLSTM-CRF/BiGRU-CRF/IDCNN-CRF模型和预训练语](https://download.csdn.net/download/weixin_38623366/20060209)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值