课节9：BERT和它的家族-介绍和微调

已于 2022-04-14 19:33:27 修改
阅读量401 收藏 1
点赞数
文章标签： nlp
于 2022-04-14 19:24:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43631284/article/details/124178833
版权
  • bert核心流程：先pre-train后微调
  •  Pre-train Model：将每一个token表示成一个embedding vector
  • 传统embedding手段（类似于Wordvec之类的）最大的缺点就是没有考虑上下文的意思，同一个词放到不通的上下文下embedding是一样的。
  • bert之类的模型采用的是Contextualized word Embedding：与传统embedding最大的区别是产生每一个embedding的时候会将上下文的意思考虑进来，同样的单词在不同的句子中embedding不会一样。

  • 现在类似于bert之类的模型有越来越大的趋势。
  • 现在主流趋势是让bert之类的大模型变小，有很多（类似于知识蒸馏）技术可以让大模型变小，性能损失还不大。

How to fine-tune

NLP任务分类

 输入部分：如果输入是一个sentence，直接就丢入model进行train就可以了，但是如果是多个sentence，那么就需要在每个句子之间加入一个sep分割符，将n个sentence拼成一个整体sentence丢入model进行train

pre-train和fine-tune的搭配方式

一种是pre-train和fine-tune是解耦的，训练完pre-train就不管了，我们只是需要微调fine-tune

另一种是将pre-train和fine-tune进行融合，统一训练，在训练过程中统一调整fine-tune和pre-train的参数

因此一种创新的方式就是adaptor方式，即将pre-train model和fine-tune model进行merge，但是每次只需要修订pre-train 大model里面的一部分参数就可以了，就类似于图中apt中的参数，因此这样训练难度就下来了

 glue模型：专门用来测试一个NLP模型对人类语言的了解程度（一种评价指标）

Racin_01
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BERTopic：利用BERT和c-TF-IDF创建易于解释的主题
02-03
BERTopic是一种利用主题建模技术 :hugging_face: 转换程序和c-TF-IDF创建密集的群集，使主题易于理解，同时在主题描述中保留重要字词。 它甚至支持类似于LDAvis的可视化！ 相应的媒体帖子可以在找到。 安装 可以...
RoBERTa中的merge.txt和vocab.json是什么？
anshiquanshu的专栏
12-27 1781
背景 在使用其他组织或个人发布的RoBERTa预训练模型时，一般除了模型文件之外还会有merges.txt和vocab.json。相比于BERT只需要一个vocab.txt，为何RoBRETa需要2个？作用是什么？ PS：这里使用的是huggingface/transformers 下的 RoBRTa-base版模型。 说明 Bert采用的是字符级别的BPE编码，直接生成词表文件。Roberta采用的是**byte level的BPE(BBPE)**编码，预训练结果中的merges.txt中存储了BBP
李宏毅自然语言处理——BERT和它的家族
日积月累，天道酬勤
08-14 801
本文介绍了什么是预训练模型；如何接上其他模型进行微调；以及如何训练预训练模型。
BERT家族进化史：10大变体，如何选择最适合你的NLP利器？
java专栏
05-16 628
BERT（Bidirectional Encoder Representations from Transformers）自问世以来，凭借其在多项NLP任务上的卓越表现，迅速成为自然语言处理领域的重要里程碑。本文将深入探讨BERT家族的几个关键变体，包括它们的设计理念、技术改进以及在实际应用中的不同场景，同时辅以代码示例，让你对BERT及其变体有更直观的理解和掌握。
bert家族
u013596454的博客
09-28 477
1. introduction ​  Bert，目前nlp领域神器级模型，诞生于2018年，全称Bidirectional Encoder Representation from Transformers。该模型在其诞生时，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等，引起了极大的轰动。经过2年的发展
【李宏毅】Bert家族
SofiaT的博客
04-23 710
bert家族笔记
BERT-BILSTM-GCN-CRF-for-NER:在原本BERT-BILSTM-CRF上融合GCN和词性标签等做NER任务
03-09
NER的BERT-BILSTM-GCN-CRF在原本BERT-BILSTM-CRF上融合GCN和词性标签等做NER任务数据格式高B-剧种B-名词腔I-剧种I-名词：OO马B-人名B-名词平I-人名I-名词所OO着O B动词扶O B动词贫O I动词小O B -名词I O-名词运行
bert-extractive-summarizer:BERT易于使用的提取文本摘要
05-04
pip install bert-extractive-summarizer 使用Neurocoref的共指功能需要一个spaCy模型，该模型必须单独下载。 默认模型是小型英语spaCy模型（en_core_web_sm，11Mb），并随此软件包自动安装。 要使用其他型号，您...
bert-for-tf2：BERT，ALBERT和适配器-BERT的Keras TensorFlow 2.0实现
02-06
1. `README.md`：项目介绍和使用指南。 2. `requirements.txt`：项目依赖的Python库列表。 3. `model`目录：存放BERT和ALBERT模型的Keras实现。 4. `scripts`目录：预训练和微调脚本，用于在数据集上训练模型。 5. `...
bert-adv-embed:BERT词嵌入的对抗性扰动
05-27
BERT的对抗性嵌入 上基于BERT的情感分类对抗嵌入生成与分析。 建立在对Google Research之上。 IMDB加载器和处理器功能取自。 存储库还包括一种算法，用于投影对抗性嵌入内容以获得对抗性离散文本候选对象。 尽管该...
2021-07-17bert选修补充
云淡风轻_的博客
07-17 350
过去NLP任务通常是一个任务一个模型，现在已经迈向，希望机器先总体了解人类语言以后再去解决各种NLP任务（先预训练一个模型，然后微调之后用在不同的任务上） pre-train：让机器解某个任务之前先训练一下。今天NLP领域的常见做法是：训练一个模型，模型是根据大量的文字（无标记，直接爬取的文字）训练出来的，它可以读懂人类文字 什么叫读懂？ 接下来针对要解决的任务，可以收集部分少量的资料，对模型进行微调fine-tune，让机器来解决不同的任务（不同的针对性资料对模型...
通俗易懂地理解BERT并微调
Friedrichor的博客
03-27 4191
目录模型架构预训练步骤MLM(Mask Language Model)NSP下游任务微调BERT如何提升BERT下游任务表现 模型架构 BERT的基础transformer结构（encoder部分）： 输入部分： 对于transformer来说，输入部分会进行两个操作，包括Input Embedding和Positional Encoding两部分。 Input Embedding就是将输入转为词向量，可以是随机初始化，也可以是使用word2vec。 Positional Encoding就是位置编码，用
BERT家族的那些事——RoBERTa篇
weixin_44686520的博客
10-11 4372
本文是BERT家族系列文章的第二篇，主要是自己对于RoBERTa模型的一些理解，写的不好的地方还请大佬们多多指教。 目录 RoBERTa简介 RoBERTa模型结构 模型结构层面的修改 数据层面的修改 总结 RoBERTa简介 RoBERTa全称：“A Robustly Optimized BERT Pretraining Approach”，从名字上可以看出RoBERTa是对BERT模型做了若干改进。RoBERTa模型在众多数据集上的效果相较于BERT提高了5%-20%， RoBERTa模型结构 Ro
bert微调
kanaomi517的博客
08-18 1938
bert微调
BERT模型—2.BERT模型预训练与微调
热门推荐
柳杰的博客
07-21 1万+
文章目录引言一、预训练语言模型1.为什么要进行预训练？ 引言   本节将按照思维导图逐步了解BERT语言模型（基于transformer的网络结构）。 一、预训练语言模型   大规模的预训练语言模型的模型参数量呈几何倍数的增长趋势。下面我们了解BERT预训练的原理。 1.为什么要进行预训练？   基于词向量的预训练方式并不是在BERT中首次出现。 ...
BERT从零详细解读：如何微调BERT，提升BERT在下游任务中的效果
weixin_40064300的博客
04-24 4635
a)是句子对的分类任务 b)是单个句子的分类任务 c) 是问答任务 d)是序列标注任务 首先我自己最常用的就是：文本分类、序列标注和文本匹配。 这四个都是比较简单的，我们来看d)序列标注，其实就是把所有的token输出，做了一个softmax，去看它属于实体中的哪一个。对于单个样本，它的一个文本分类就是使用CLS这边，第一个CLS的输出，去做一个微调，做一个二分类，或者是多分类。 a)这个其实本质是一个文本匹配的一个任务，文本匹配就是把两个句子拼接起来，去判断它是否相似。左上角也是用CLS输出判断，0不相.
BERT家族的那些事——简介篇
weixin_44686520的博客
10-06 361
BERT家族的那些事——简介篇 2018年10月谷歌公司AI团队发布了BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩，并且横扫11种不同NLP任务，BERT模型的提出为NLP领域带来了里程碑式的改变，更加证明了pretrain+fine-tune这条路的可行性，之后会有越来越多的同行者加入进来。 BERT模型虽然表现惊艳，但也有其不足之处，BERT模型提出后的两年内，各种BERT的改进模型纷纷提出，效果和性能各种碾压BERT，本系列文章将会介绍BERT模型的三种改进版，具体如下：
BERT家族：BERT-WWM
qq_32223859的博客
05-26 3804
BERT-WWM 论文：《Pre-Training with WholeWord Masking for Chinese BERT》 论文地址：https://arxiv.org/pdf/1906.08101 作者/机构：讯飞+哈工大 年份：2019.7 BERT-WWM对Bert的改进主要体现在mask的方式上，使用全词mask。其改进点如下： 与百度ERNIE相比，BERT-WWM不仅仅是连续mask实体词和短语，而是连续mask所有能组成中文词语的字。具体做法是，针对中文，如果一个完整的词
bert-bilstm-crf和bilstm-crf对比
最新发布
06-07
BERT-BiLSTM-CRF（Bidirectional Encoder Representations from Transformers with Bidirectional Long Short-Term Memory and Conditional Random Field）是一种深度学习模型结构，主要用于序列标注任务，如命名实体识别、词性标注等。它是BERT模型（基于Transformer的预训练语言模型）与双向长短期记忆网络（BiLSTM）以及条件随机场（CRF）的结合。 相比之下，BILSTM-CRF（仅使用双向LSTM和CRF）模型则是简化版，它没有预训练的Transformer阶段，直接将单词或字符输入到一个双向LSTM中，LSTM负责捕捉上下文信息，然后输出到一个CRF层进行标签预测，CRF用于考虑整个序列的标签依赖关系，提高整体的标注准确性。 两者的区别在于： 1. **预训练能力**：BERT由于其强大的预训练阶段，能够学习更广泛的通用语言表示，而BILSTM-CRF则依赖于特定任务的训练数据。 2. **计算效率**：BILSTM-CRF由于缺少预训练阶段，可能计算量较小，但对大规模语料库的依赖较高。 3. **性能**：在某些情况下，BERT-BILSTM-CRF可能因为其丰富的上下文信息和预训练表示而表现出更好的性能，特别是在处理复杂的语言理解任务时。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值