- 博客(3)
- 收藏
- 关注
RSS订阅原创 谷歌BERT预训练源码解析（三）：训练过程
目录前言源码解析主函数自定义模型遮蔽词预测下一句预测规范化数据集前言本部分介绍BERT训练过程，BERT模型训练过程是在自己的TPU上进行的，这部分我没做过研究所以不做深入探讨。BERT针对两个任务同时训练。1.下一句预测。2.遮蔽词识别下面介绍BERT的预训练模型run_pretraining.py是怎么训练的。源码解析主函数训练过程主要用了estimator调度器。这个调度器支持自...
2018-11-29 11:04:54
10399
5
原创 谷歌BERT预训练源码解析（二）：模型构建
前言BERT的模型主要是基于Transformer架构（论文：Attention is all you need）。它抛开了RNN等固有模式，直接用注意力机制处理Seq2Seq问题，体现了大道至简的思想。网上对此模型解析的资料有很多，但大都千篇一律。这里推荐知乎的一篇《Attention is all you need》解读，我觉得这篇把transformer介绍的非常好。由于模型最闹心的就是...
2018-11-23 17:47:32
11235
12
原创 谷歌BERT预训练源码解析（一）：训练数据生成
预训练源码结构简介关于BERT，简单来说，它是一个基于Transformer架构，结合遮蔽词预测和上下句识别的预训练NLP模型。至于效果：在11种不同NLP测试中创出最佳成绩关于介绍BERT的文章我看了一些，个人感觉介绍的最全面的是机器之心再放上谷歌官方源码链接：BERT官方源码在看本博客之前，读者先要了解：1.Transformer架构2.BERT模型的架构3.python语言及t...
2018-11-23 10:09:26
16396
16
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人