从源码层面理解Bert模型

---

前言

本篇讲解的Bert的也是之前看过的内容，现将源码及本人做的思维导图贴出来，希望能帮到有需要的同学。

Bert模型源码思维导图

Bert的主要结构是基于Transformer模型构造的，所以在看Bert之前，建议先将Transformer模型搞懂，搞懂Transformer之后，那么Bert的理解将不成问题。如有问题，可以参考笔者的上一篇文章“基于模型结构与模型源码两个层面理解Transformer”。

初看Bert源码时，真正难啃的还是训练数据的构造，对照着文末参考文章里的源码，将“数据处理并生成batch”部分看懂，基本上就能从源码上理解整个Bert模型了。

总结

以上就是全部内容了，本文主要贡献就是分享了自己做的思维导图，并没有对Bert模型进行详细解读，是因为笔者相信在理解了Transformer模型之后，Bert的理解将会容易很多。思维导图是基于笔者个人的理解整理而成，如有错误欢迎批评指正。

参考文章：https://wmathor.com/index.php/archives/1457/