BERT看了很多资料,觉得自己有些见识了。整整两年的时间,自己都没有对它进行整理。现在开始整理:
一、Google Bert 源码中的 modeling文件
modeling是bert的本源,先看懂这里比较好。可以参考其他大神的资料:
1. 代码解读方面,一位码龄三年的老哥的分析,写的很清晰
2. bert的论文,第一篇应该看 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》,这个链接里面有很好的中文解说添加链接描述
3. 第二篇比较重要的论文是《Pre-Training with Whole Word Maskingfor Chinese BERT》。点子是google提出来的,中文版是哈工大训练出来的,哈大的链接是这个github。相关的辅助资料有:BERT-WWM 笔记、BERT-wwm、BERT-wwm-ext
4. 遇见了一个也总结BERT资料的文章,看这个链接。不过,我感觉他写的太全,这意味着这些东西不一定有什么用。
二、transform的东西要好好弄懂
2.1 第一个就是王宇迪的pdf,写的真的挺好的。看后,结合tensorflow代码,查看论文Attention Is All You Need
三、代码在应用中怎么加载呢?
(1)keras的加载方式简单,有一个苏剑林团队开发的工具. 其使用见这里:介绍说明、github地址
(2)huggingface的github见这里,Google官方推荐的PyTorch BERB版本实现。举例子的话,看B站的这位研究生的例子,还可以看动手学Bert文本分类的这个例子
(3)官方的Google代码,加载使用起来好像也不错,可以
四、其他注意事项
(1)使用的优化器adamw,它与常规的adam有了哪些改进,看这里