Bert代码详解（二）

最新推荐文章于 2024-09-22 22:26:03 发布

c-minus

最新推荐文章于 2024-09-22 22:26:03 发布

阅读量7k

点赞数 9

分类专栏： NLP

本文链接：https://blog.csdn.net/cpluss/article/details/88418353

版权

本文主要介绍PyTorch实现的BERT模型，包括BertForMaskedLM、BertForNextSentencePrediction和BertForSequenceClassification。内容来源于github上的pytorch-pretrained-BERT库，重点解析模型的核心部分。

摘要由CSDN通过智能技术生成

这是bert的pytorch版本（与tensorflow一样的，这个更简单些，这个看懂了，tf也能看懂），地址：https://github.com/huggingface/pytorch-pretrained-BERT 主要内容在pytorch_pretrained_bert/modeling文件中。
---------------------
作者：c-minus
来源：CSDN
原文：https://blog.csdn.net/cpluss/article/details/88418176
版权声明：本文为博主原创文章，转载请附上博文链接！

讲解之前，有必要先了解一下torch.nn.CrossEntropyLoss函数

#这是一个交叉熵损失函数，但又和传统的交叉熵函数不是太一样。由于在源码中出现的次数较多，因此先讲解一下。
#以下全是我的个人理解！！！！（真的不一定是正确的，欢迎指正）
#我只讲可能用到的参数。
class torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean')
#weight:权重。这个参数是针对训练文件不平衡设置的。例如，训练一个C分类问题，但是训练数据中C中各种类别所占的比例不一样，这是就需要一个weight参数，也因此weight也必须是C维度的
#

最低0.47元/天解锁文章