bert之我的小总结

BERT看了很多资料，觉得自己有些见识了。整整两年的时间，自己都没有对它进行整理。现在开始整理：

一、Google Bert 源码中的 modeling文件
modeling是bert的本源，先看懂这里比较好。可以参考其他大神的资料：
1. 代码解读方面，一位码龄三年的老哥的分析，写的很清晰
2. bert的论文，第一篇应该看 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，这个链接里面有很好的中文解说添加链接描述
3. 第二篇比较重要的论文是《Pre-Training with Whole Word Maskingfor Chinese BERT》。点子是google提出来的，中文版是哈工大训练出来的，哈大的链接是这个github。相关的辅助资料有：BERT-WWM 笔记、BERT-wwm、BERT-wwm-ext
4. 遇见了一个也总结BERT资料的文章，看这个链接。不过，我感觉他写的太全，这意味着这些东西不一定有什么用。
二、transform的东西要好好弄懂
2.1 第一个就是王宇迪的pdf，写的真的挺好的。看后，结合tensorflow代码，查看论文Attention Is All You Need
三、代码在应用中怎么加载呢？
（1）keras的加载方式简单，有一个苏剑林团队开发的工具. 其使用见这里：介绍说明、github地址
（2）huggingface的github见这里，Google官方推荐的PyTorch BERB版本实现。举例子的话，看B站的这位研究生的例子，还可以看动手学Bert文本分类的这个例子
（3）官方的Google代码，加载使用起来好像也不错，可以

四、其他注意事项
（1）使用的优化器adamw，它与常规的adam有了哪些改进，看这里