简单地读懂Bert代码

最新推荐文章于 2024-07-25 09:42:27 发布
最新推荐文章于 2024-07-25 09:42:27 发布
阅读量477 收藏 2
点赞数 2
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43643246/article/details/104362060
版权

Bert代码初识

简单读懂代码

modeling.py–定义一个bert模型的主体结构

BertConfig类

  • BertModel类中所需要的超参数
  • 定义从python dict中生成BertConfig的方法 from_dict(cls, json_object)
  • 定义从json中生成BertConfig的方法 from_json_file(cls, json_file)
  • 定义将BertConfig转换为python dict的方法 to_dict(self)
  • 定义将BertConfig转换为json字符串的方法 to_json_string(self)

BertModel类

  • 定义了激活函数，归一化函数以及过拟合函数等
  • 定义了embedding_lookup函数 将输入input_ids[batch_size, seq_length]转换成[batch_size, seq_length, embedding_size]
  • 定义了embedding_postprocessor函数 将token_type_embeddings和position_embedding加入到input_tensor中,对最后的结果进行归一化和dropout
    在这里插入图片描述
  • 定义了create_attention_mask_from_input_mask函数 构造attention mask ，将shape为[batch_size, to_seq_length]的mask转换为[batch_size, from_seq_length, to_seq_length] 的mask用于att
最低0.47元/天 解锁文章
要努力的鱼～
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文读懂BERT(原理篇)
程序猿废柴的博客
04-19 29万+
一文读懂BERT（从原理到实践） 2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。 本文是对近期关于BERT论文、相关文章、代码进...
一文读懂bert结构。
YI_SHU_JIA的博客
12-27 3945
BERT的结构介绍
一本读懂BERT(实践篇)
热门推荐
程序猿废柴的博客
04-18 4万+
目录 一、什么是BERT？ 二、BERT安装 三、预训练模型 四、运行Fine-Tuning 五、数据读取源码阅读 （一） DataProcessor （二） MrpcProcessor 六、分词源码阅读 （一）FullTokenizer （二） WordpieceTokenizer 七、run_classifier.py的main函数 八、BertModel类 九、自己...
一文读懂BERT
不可能打工的博客
06-18 729
一文读懂BERT（原理篇） 2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。 本文是对近期关于BERT论文、相关文章、代码进行学习后的知识梳理，仅为自己学习交流之用。因笔者精力有限，如果文中因引用了某些文章观点未标出处还望作者海涵，也希望
一文读懂BERT（原理篇）
weixin_43282288的博客
12-31 1129
一文读懂BERT（原理篇）...
读懂BERT
CSDN_of_ding的博客
07-22 581
读懂BERT 目录BERT的深度和双向体现在什么地方？问题：如何理解BERT的预训练+微调模式（同OpenAI GPT）?BERT模型的输入输出表示BERT模型的预训练过程总结 BERT（Bidirectional Encoder Representations from Transformers） 谷歌AI语言实验室在2019年的一篇论文《BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding》提
【NLP】The Annotated BERT注释加量版，读懂代码才算读懂了BERT
fengdu78的博客
06-18 35
The Annotated Transformer注释加量版The Annotated GPT2注释加量版前面我们从0实现了Transformer和GPT2的预训练过程，并且通过代码注释和打印数据维度使这个过程更容易理解，今天我将用同样的方法继续学习Bert。原始Transformer是一个Encoder-Decoder架构，GPT是一种Decoder only模型，而Bert则是一种Encode...
【转】快速读懂BERT
qq_35130138的博客
04-10 328
一文读懂BERT（原理篇）转自[https://b...
转：一文读懂BERT(原理篇)
纸上得来终觉浅
04-27 679
转自：https://blog.csdn.net/jiaowoshouzi/article/details/89073944 一文读懂BERT（原理篇） 2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。 本文是对近期关于BERT论文、相关
面试bert相关知识总结（持续更新中）
weixin_43643246的博客
03-18 2433
简述 bert Bert 是一个预训练语言模型，它主要有两个任务。第一个任务是将数据集中的句子随机遮掩一部分，通过训练，来预测这些词是什么，加强了句子内部之间的联系；第二个任务是判断两个句子是否是连续的上下句，通过训练来识别，加强了句子外部之间的联系。 bert 的创新点在于它将双向 Transformer 用于语言模型，Transformer 的 encoder 是一次性读取整个文本序列，而不是...
自然语言理解中的意图识别
weixin_43643246的博客
06-02 1834
概念 通过分类的方式将句子（query）划分到相应的意图种类当中，判断其属于哪个领域的问题。 意图识别的方法 基于词典以及模版的规则方法 不同的意图会有不同的领域词典 ，比如书名、歌曲名、商品名等。根据用户的意图和词典的匹配程度或者重合程度来进行判断。 基于机器学习模型对用户意图进行判别 通过机器学习和深度学习的方法，对已经标注好的领域语料进行训练学习，得到意图识别的模型。在经过测试集得到语料对应的分类。 fastText 快速文本分类模型 1.快速训练和预测，适合用于工业界 2.重要的优化：层序遍历和
词向量的认识
weixin_43643246的博客
02-29 1464
词向量在使用的一些认知 粗浅的理解： 词向量是很多任务的一个基础，一般我们都是如何获得词向量 根据数据集，去除一些低频的词，然后根据剩余的词建立词表，然后按照给定的维度随机初始化得到一组向量，就是该词对应的词向量。在后续的神经网络训练中，词向量会随着训练过程而更新 根据数据集自己训练，得到词向量，比如调用word2vec模型来训练语料 加载别人预训练好的词向量+微调过程，简单来说，就是把被人的t...
Transformer初步认识
weixin_43643246的博客
02-17 371
transformer的特点 transformer是并行处理的，相较于lstm(一个接一个的训练，前一刻的训练结束，才能进行下一时刻的训练)，并行处理后加快了效率 transformer中引用了位置嵌入,因为没有循环神经网络的迭代操作，所以要提供一句话每个词的位置信息，输入到transformer中，这样才能知道语言的顺序关系。 transformer的结构图 和大部分的seqseq模型一样...
bert模型学习随笔
weixin_43643246的博客
02-20 306
bert 模型 BERT的全称是Bidirectional Encoder Representation from Transformers，简单来说就是双向的transformer的编码。 模型的结构 模型的创新点 预训练任务一Masked LM 随机mask句子中的部分token，然后将masked token 位置输出的final hidden vectors送入softmax，来预测mas...
word2vec的梳理
weixin_43643246的博客
04-24 207
简介 word2vec包含两个模型，跳字模型（skip-gram）和连续词袋模型（CBOW），以及两种高效的训练方法：负采样和层序softmax。 模型 CBOW 根据上下文的词来预测中心词 分为三层： 输入层：我们上下文窗口中包含的词 举个例子：I like my new bike 这句话中，假设中心词my, I like 是上文词，new bike是下文词。 那么我们输入层对应的就是这四个词的...
卷积神经网络（三）-zfNet
07-25 1068
ZFNet（Zeiler & Fergus Net）是由Matthew D. Zeiler和Rob Fergus在2013年提出的卷积神经网络模型，它是基于AlexNet进行改进而来的。ZFNet在当年的ImageNet Large Scale Visual Recognition Challenge (ILSVRC)中取得了冠军,尤其在分类和定位任务上表现突出。
2024浙江省行政区划矢量图层-省市县乡镇四级行政区划数据下载-带python代码
最新发布
08-02
2024最新浙江省行政区划矢量图层数据，包含省、市、县、乡镇四级行政区划数据下载，附带shp转geojson的python代码
年度销售计划表.xlsx.xlsx
08-01
销售统计，调查问卷，库存明细，跟进表，业绩统计表，差异分析 ，产品清单 适用人群：学习不同技术领域的小白或进阶学习者；可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
sentence-bert代码
04-30
Sentence-BERT是一个用于生成句子嵌入的模型，其目的是将输入句子转换为语义空间中的表示。在NLP任务中，句子嵌入已被广泛用于各种应用，如文本分类、聚类、相似性搜索等。 Sentence-BERT代码是通过将预训练的BERT模型与Siamese神经网络结合使用而构建的。该模型的输入是一对句子，该模型将它们分别传递到BERT模型中，以获取每个句子的嵌入向量。这些向量然后通过一个特定的匹配层进行比较，以产生一个匹配分数。最终的嵌入向量是根据这些得分进行计算的。 在对输入的文本对进行编码之前，代码需要对它们进行一些预处理，如分词、标记化和特征提取。然后，生成器代码将这些预处理文本对转换为适合于输入BERT模型的格式。BERT模型将生成每个句子的嵌入，这些向量将被馈送到匹配层进行比较，得出最终的匹配分数和嵌入向量。 需要注意的是，Sentence-BERT代码在训练阶段不仅使用了标准的代价函数（如交叉熵），还使用了一种叫做斯蒂芬斯（STS）任务的额外代价函数，它与计算句子相似度有关。这种辅助任务有助于BERT模型学习将文本编码成更有意义的嵌入向量。 总的来说，Sentence-BERT代码是一个非常有用的NLP工具，可以在许多领域进行广泛的应用，如对话系统、搜索引擎和自动问答系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值