BERT和Attention优质学习资源收集汇总

         2018年是NLP丰收的一年，这一年中比较大火的又是BERT，而BERT又和2017年大火的Transformer相关，本文就网上阐释比较好的几篇关于这两个模型的文章进行简单收集，方便想了解这两个模型的研究者阅读。

当然最权威的是官方论文和源码：

• Transformer：Attention is all you need
• BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding
• BERT代码：https://github.com/google-research/bert

网上比较好的解读：

• 深度学习中的注意力模型
• Attention原理和源码解析
• Transformer详解
• 语言模型和迁移学习
• The Annotated Transformer
• 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
• Google BERT详解
• 预训练在自然语言处理的发展: 从Word Embedding到BERT模型
• 全面拥抱Transformer：NLP三大特征抽取器(CNN/RNN/TF)比较
• The Illustrated Transformer翻译版
• BERT大火却不懂Transformer？读这一篇就够了
• 如何评价 BERT 模型？
• 谷歌BERT模型深度解析
• 【BERT详解】《Dissecting BERT》by Miguel Romero Calvo
  Dissecting BERT Part 1: The Encoder
  Understanding BERT Part 2: BERT Specifics
  Dissecting BERT Appendix: The Decoder

BERT运用实例：

1. 奇点智能BERT实战教程
2. AI赋能法律 | NLP最强之谷歌BERT模型在智能司法领域的实践浅谈
3. bert-Chinese-classification-task
   bert中文分类实践
4.  bert-chinese-ner: https://github.com/ProHiryu/bert-chinese-ner
   使用预训练语言模型BERT做中文NER
5. BERT-BiLSTM-CRF-NER
   Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning
6. bert-sequence-tagging: https://github.com/zhpmatrix/bert-sequence-tagging
   基于BERT的中文序列标注
7. Google BERT 中文应用之春节对对联
8. Google BERT 中文应用之《红楼梦》对话人物提取
9. bert-as-service: https://github.com/hanxiao/bert-as-service
   将不同长度的句子用BERT预训练模型编码，映射到一个固定长度的向量上：Mapping a variable-length sentence to a fixed-length vector using pretrained BERT model
10. bert_language_understanding: https://github.com/brightmart/bert_language_understanding
    BERT实战：Pre-training of Deep Bidirectional Transformers for Language Understanding: pre-train TextCNN
11. sentiment_analysis_fine_grain: https://github.com/brightmart/sentiment_analysis_fine_grain
    BERT实战，多标签文本分类，在 AI Challenger 2018 细粒度情感分析任务上的尝试：Multi-label Classification with BERT; Fine Grained Sentiment Analysis from AI challenger
12. BERT-NER: https://github.com/kyzhouhzau/BERT-NER
    BERT实战，命名实体识别: Use google BERT to do CoNLL-2003 NER !
13. BERT、GPT-2这些顶尖工具到底该怎么用到我的模型里

第三方BERT实现代码：

1. pytorch-pretrained-BERT: https://github.com/huggingface/pytorch-pretrained-BERT
   Google官方推荐的PyTorch BERB版本实现，可加载Google预训练的模型：PyTorch version of Google AI's BERT model with script to load Google's pre-trained models
2. BERT-pytorch: https://github.com/codertimo/BERT-pytorch
   另一个Pytorch版本实现：Google AI 2018 BERT pytorch implementation
3. BERT-tensorflow: https://github.com/guotong1988/BERT-tensorflow
   Tensorflow版本：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
4. bert-chainer: https://github.com/soskek/bert-chainer
   Chanier版本: Chainer implementation of "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"
5. BERT-keras: https://github.com/Separius/BERT-keras
   Keras版: Keras implementation of BERT with pre-trained weights
6. tbert: https://github.com/innodatalabs/tbert
   PyTorch port of BERT ML model

本文资源收集中参考了网上很多博客、知乎帖子以及AINLP微信公众号，在此对这些文章的作者一并感谢，后面会持续更新看到较好资源。