[博学谷学习记录]超强总结，用心分享|人工智能深度学习BERT模型总结分享

最新推荐文章于 2023-12-03 13:07:35 发布
最新推荐文章于 2023-12-03 13:07:35 发布
阅读量700 收藏 3
点赞数
文章标签： 人工智能 深度学习 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46515036/article/details/129237743
版权

1. BERT模型优缺点

1.1 BERT的优点

  • 通过预训练, 加上Fine-tunning, 在11项NLP任务上取得最优结果.

  • BERT的根基源于Transformer, 相比传统RNN更加高效, 可以并行化处理同时能捕捉长距离的语义和结构依赖.

  • BERT采用了Transformer架构中的Encoder模块, 不仅仅获得了真正意义上的bidirectional context, 而且为后续微调任务留出了足够的调整空间

1.2 BERT的缺点

  • BERT模型过于庞大, 参数太多, 不利于资源紧张的应用场景, 也不利于上线的实时处理.

  • BERT目前给出的中文模型中, 是以字为基本token单位的, 很多需要词向量的应用无法直接使用. 同时该模型无法识别很多生僻词, 只能以UNK代替.

  • BERT中第一个预训练任务MLM中, [MASK]标记只在训练阶段出现, 而在预测阶段不会出现, 这就造成了一定的信息偏差, 因此训练时不能过多的使用[MASK], 否则会影响模型的表现.

  • 按照BERT的MLM任务中的约定, 每个batch数据中只有15%的token参与了训练, 被模型学习和预测, 所以BERT收敛的速度比left-to-right模型要慢很多(left-to-right模型中每一个token都会参与训练).

2. BERT的MLM任务中为什么采用了80%, 10%, 10%的策略?

  • 首先, 如果所有参与训练的token被100%的[MASK], 那么在fine-tunning的时候所有单词都是已知的, 不存在[MASK], 那么模型就只能根据其他token的信息和语序结构来预测当前词, 而无法利用到这个词本身的信息, 因为它们从未出现在训练过程中, 等于模型从未接触

最低0.47元/天 解锁文章
AAALice0.0
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BERT_GPT等主流预训练模型的优缺点分析
AI架构设计之禅
05-02 24
BERT/GPT等主流预训练模型的优缺点分析 1. 背景介绍 1.1 自然语言处理的重要性 在当今的数字时代,自然语言处理(NLP)已成为人工智能领域中最重要和最具挑战性的研究方向之一。它旨在使计算机能够理解、解释和生成人类
NLP-Bert模型
qq_27412807的博客
02-01 2081
BERT简单介绍 ​ BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以致能生成深度双向语言表征。 ​ BERT论文发表时提及在11个NLP（Natural Language Processing，自然语言处理）任务中获得了新的st
BERT模型的优点
CSDN_of_ding的博客
08-02 8314
BERT 模型是将预训练模型和下游任务模型结合在一起的，也就是说在做下游任务时仍然是用BERT模型，而且天然支持文本分类任务，在做文本分类任务时不需要对模型做修改。谷歌提供了下面七种预训练好的模型文件。 BERT模型在英文数据集上提供了两种大小的模型，Base和Large。Uncased是意味着输入的词都会转变成小写，cased是意味着输入的词会保存其大写（在命名实体识别等项目上需要）。Multilingual是支持多语言的，最后一个是中文预训练模型。 ...
BERT模型为什么这么强?
博文视点（北京）官方博客
08-10 3532
如果你是一名自然语言处理从业者，那你一定听说过大名鼎鼎的 BERT 模型。 BERT（Bidirectional Encoder Representations From Transformers）模型的“荣耀时刻”是2018年：称霸机器理解测试SQuAD，横扫其他10项NLP测试，达成“全面超过人类”成就。 BERT模型使用预训练和微调的方式来完成自然语言处理（Natural Language Processing，NLP）任务。这些任务包括问答系统、情感分析和语言推理等。 01 为什么BERT模型这么强
模型优势缺陷整理
Xpy_021101的博客
04-13 1886
7.对于长文本序列来说，效果可能不如其他模型。gnn模型不太适合处理长文本序列，这是因为gnn模型的设计初衷主要是为了捕捉局部特征以及节点之间的关系，而对于长序列来说，这种关系会变得十分复杂，同时可能会出现梯度消失或梯度**的问题。：cnn模型采用固定大小的卷积核，无法灵活地处理不同长度的输入，因此在处理不同长度的文本数据时需要进行填充或者截断操作，这可能会导致信息的丢失。：cnn模型对输入的噪声和变形具有一定的鲁棒性，因此在处理一些存在噪声或变形的文本数据时，cnn模型能够表现出比其他模型更好的鲁棒性。
BERT从零学习心得体会
tranquil666的博客
12-03 271
BERT提出了全新的方式：MLM（Masked Language Model）论文原文部分；MLM的提出实现:对于所有的原文本词，15%的的概率随机挑选一些词出来；对于被随机挑选出来的部分：10% 替换成其他部分10%原封不动剩下的80%替换成mask这样就打破了原有的文本信息，在预训练的时候对文本进行重建，训练的额时候让出现的词无限地接近原本地词语，这样一定程度上可以遏制对训练集地敏感性训练方式基于上下文的词，与左右模型不同，MLM目标使表示能够融合上下文，使得预训练更加具有深度。
基于深度学习Bert模型的命名实体识别.zip
最新发布
03-28
人工智能毕业设计&课程设计
基于Bert+多种深度学习模型的购物网站评论关联与情感分析.zip
03-28
人工智能毕业设计&课程设计
机器学习、深度学习、自然语言处理等人工智能基础知识总结以及源代码.zip
02-27
机器学习、深度学习、自然语言处理等人工智能基础知识总结以及源代码.zip 说明 机器学习、深度学习、自然语言处理基础知识总结。 目前主要参考李航老师的《统计学习方法》一书，也有一些内容例如XGBoost、聚类、...
人工智能-深度学习-文本分类-使用Bert，ERNIE，进行中文文本分类
07-09
Bert-Chinese-Text-Classification-Pytorch LICENSE 中文文本分类，Bert，ERNIE，基于pytorch，开箱即用。 介绍 模型介绍、数据流动过程：还没写完，写好之后再贴博客地址。 工作忙，懒得写了，类似文章有很多。 ...
人工智能深度学习，语音克隆项目 Bert-vits2项目， 模型：星之守护者阿狸 语言：中文，训练步数：6000 版本号：2.3
12-28
人工智能深度学习，语音克隆项目 Bert-vits2项目，目前效果最完美的开源TTS项目 版本号：2.3 文件包括，模型本体G_6000.pth 配置文件config.json 星之守护者阿狸 语音模型，语言：中文，训练步数：6000 语气韵律...
bert细节理解
12-21
bert中的升维3072，能更好的分离特征。 bert中最后对一维卷积进行池化，好处在于增加了模型的泛化能力，不同的池化方式(平均值、最大值）会带来不同的结果。 一维数据进行池化，利用padding=“SAME”，不会改变尺寸。 https://blog.csdn.net/Tourior/article/details/79544326 logits = self.l0(out) start_logits, end_logits = logits.split(1, dim=-1) logits.split将（64，128，2）变成2个（64，128，1） start_logits = st
Autoencoding/BERT在词表征中的优势和劣势
weixin_43292547的博客
11-23 1043
import lombok.*; import org.junit.Test; import java.util.ArrayList; import java.util.Optional; import java.util.stream.Collectors; import java.util.stream.Stream; public class T1 { @Test public void asdasd(){ ArrayList<Integer> l=ne
如何评价 BERT 模型？
小岁月太着急
04-08 988
https://www.zhihu.com/question/298203515/answer/516170825
讲讲我对Bert的评价及看法
CSDN_of_ding的博客
08-12 272
Bert是近几年NLP重要进展的集大成者 Masked LM明显借鉴了CBOW的思想 特征抽取是用Transformer(encoder部分是个深度Transformer结构，decoder部分也是个深度Transformer结构) Bert最大的亮点在于效果好及普适性强，几乎所有NLP任务都可以套用Bert这种两阶段解决思路，而且效果应该会有明显提升。可以预见的是，未来一段时间在NLP应用领域，Transformer将占据主导地位，而且这种两阶段预训练方法也会主导各种应用。 预训练是通过设计好一个网络结.
Bert时代的创新：Bert应用模式比较及其它 | 技术头条
AI科技大本营
05-12 1965
作者：张俊林，中国中文信息学会理事，中科院软件所博士。目前在新浪微博 AI Lab 担任资深算法专家。在此之前，张俊林曾经在阿里巴巴任资深技术专家并负责新技术团队，以及在...
bert的结构 用法 优势 提升空间讲的清楚明白的通俗易懂的
studyvcmfc的专栏
01-31 266
https://zhuanlan.zhihu.com/p/48612853
BERT为什么是NLP的革新者
人工智能学家
09-25 281
来源 |AI前线作者 | Jerry Wei译者 | 马可薇策划 & 编辑 | 刘燕语言模型 BERT 可以大幅提升许多任务的性能，那么它成功的背后是什么呢？本文最初发表在 T...
NLP之BERT：BERT的简介(背景、改进点、创新点、简介、意义、原理、优缺点、总结与评价)、模型结构、训练过程(MLM、NSP任务的概述)之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-20 5584
​ NLP之BERT：BERT的简介(背景、改进点、创新点、简介、意义、原理、优缺点、总结与评价)、模型结构、训练过程(MLM、NSP任务的概述)之详细攻略 目录 BERT的论文 BERT的概述 BERT的论文 论文 Paper：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding用于语言理解的深度双向Transformers预训练模型》翻译与解读 https://yu
请用python写一个深度学习模型，用于预训练模型BERT微调分类模型
04-01
以下是一个使用PyTorch实现的BERT微调分类模型的示例： ```python import torch import torch.nn as nn from transformers import BertModel class BertClassifier(nn.Module): def __init__(self, num_classes): super(BertClassifier, self).__init__() self.bert = BertModel.from_pretrained('bert-base-uncased') self.dropout = nn.Dropout(0.1) self.fc1 = nn.Linear(768, num_classes) def forward(self, input_ids, attention_mask): outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask) pooled_output = outputs.pooler_output pooled_output = self.dropout(pooled_output) logits = self.fc1(pooled_output) return logits ``` 在这个模型中，我们使用了PyTorch的nn.Module类来定义一个包含BERT预训练模型的分类器。在__init__方法中，我们首先使用transformers库中的BertModel类从预训练的BERT模型中加载权重。然后，我们定义了一个dropout层和一个全连接层，将BERT的输出转换成我们需要的类别数。 在forward方法中，我们将输入的数据传递给BERT模型，然后使用pooler_output属性来获取BERT输出的池化表示。我们应用了一层dropout，然后将池化表示传递给全连接层，得到最终的分类结果。 最后，我们可以使用这个模型来微调BERT模型，以执行特定的文本分类任务。例如，我们可以使用以下代码来微调模型并进行预测： ```python model = BertClassifier(num_classes=2) optimizer = torch.optim.Adam(model.parameters(), lr=2e-5) criterion = nn.CrossEntropyLoss() for epoch in range(num_epochs): for batch in train_data_loader: input_ids, attention_mask, labels = batch optimizer.zero_grad() outputs = model(input_ids, attention_mask) loss = criterion(outputs, labels) loss.backward() optimizer.step() # Evaluate the model model.eval() with torch.no_grad(): for batch in test_data_loader: input_ids, attention_mask, labels = batch outputs = model(input_ids, attention_mask) _, predicted = torch.max(outputs, 1) accuracy = (predicted == labels).sum().item() / len(labels) print('Test accuracy:', accuracy) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值