#1. 了解Bert是什么,找到原始文章和源码
BERT,全称是Bidirectional Encoder Representations from Transformers,是一种预训练语言表示的新方法。
Bert是2018年由Google AI团队开源的NLP模型,引起业内巨大反响,因为其在多项NLP任务上均超过当前的state-of-the-art。
Bert的原始论文为《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》,其主要讲述了Bert 的基本原理和两个主要任务:Masked LM 和 Next Sentence Prediction。
Bert源码地址为:https://github.com/google-research/bert
#2. 参考源码readme文件和相关技术博客运行demo
相关博客地址:https://www.jianshu.com/p/3d0bb34c488a
https://baijiahao.baidu.com/s?id=1616001262563114372&wfr=spider&for=pc
https://www.jiqizhixin.com/articles/2018-11-01-9
(1)下载Bert源码
git clone https://github.com/google-research/bert.gi