yang191919的博客

本文为预训练语言模型专题的第16篇。快速传送门1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]13-14：[跨语种模型]、[XLNet]，[RoBERTa]知乎关注：https://zhuanlan.zhihu.com/naiveAI感谢清华...

本文为预训练语言模型专题的第15篇。快速传送门1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]13-14：[跨语种模型]、[XLNet]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红...

本文为预训练语言模型专题的第14篇。快速传送门1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]13：[跨语种模型]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介绍的文章，绿...

之前，我们公众号发表过几篇前沿论文的阅读笔记，欢迎大家去阅读和交流。而在这里，我们将会做一个NLP专题的系列阅读，专门阅读某些专题的论文。第一个当然是预训练语言模型，之后可能会有阅读理解，以及其他专题的阅读。因为文章较多，每个专题系列，都会分多篇推送来给大家呈现，敬请期待！前言前段时间，在github里发现一个很不错的repo，是母校自然语言处理实验室维护的关于自然语言处理中预训练语言模型的必读论文推荐，在此奉上链接，并由衷感谢他们的整理。https://github.com/thunlp/PL

前言欢迎大家来到我们预训练语言模型的专题系列分享，本篇推送是该专题的第二篇！预训练语言模型已经成为了NLP研究中一个非常火热的话题，优秀的模型包括BERT，GPT2等都在学术研究、工业领域、算法比赛中大放光彩。在专题上一期推送【萌芽时代】里，我们介绍了预训练语言模型思想的萌芽。今天我们推出的这篇推送， 将继续为大家介绍预训练语言模型是如何进一步发展和演进的。在此感谢清华大学自然语言处理实验室关于预训练语言模型的必读论文的整理（链接：https://github.com/thunlp/PLMpaper

欢迎大家来到预训练语言模型的专题系列分享，本篇推送是该专题系列的第三篇。在前两篇推送[萌芽时代]，[风起云涌]中，我们分享了该领域的奠基文章以及声名鹊起却生不逢时的ELMo模型，本期我们带来的文章将会让大家了解文本分类的一些通用技巧，希望大家看完后炼丹技术都能更上一层楼！同时感谢清华大学自然语言处理实验室整理的体系图，我们将沿此脉络前行，探索预训练语言模型的前沿技术，本期的第一篇文章处于图中绿色框内，另一篇为课外阅读。红色框内的论文在前几期中介绍，大家有兴趣的可以前去一看。Universa.

本文为预训练语言模型专题系列第四篇前期回顾：[萌芽时代]、[风起云涌]、[文本分类通用训练技巧]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红色框为前期脚印，绿色框为本期介绍，欢迎大家留言讨论交流！SHOCKING在具体看论文之前，我们先来看看GPT-2，也是GPT家族巨人的惊人表现做一个开胃菜。在一个生成式任务上，OpenAI给出了这么一个开头：翻成中文是：在一项惊人的研究中，科学家们发现了一群独角兽，它们生活在安

本文为预训练语言模型专题系列第五篇前期回顾：[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红色框为前期脚印，绿色框为本期介绍，欢迎大家留言讨论交流。BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2018)本期将要介绍的就是在NLP领域无人..

本文为预训练语言模型专题系列第六篇快速传送门[萌芽时代]，[风起云涌]，[文本分类通用技巧]，[GPT家族]，[BERT来临]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红色框为已介绍的文章。本期的内容是结合Huggingface的Transformers代码，来进一步了解下BERT的pytorch实现，欢迎大家留言讨论交流。Hugging face 简介Hugging face???? 是一家总部位于纽约..

本文为预训练语言模型专题系列第七篇系列传送门[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]、[BERT来临]、[BERT代码浅析]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介绍的文章，绿框中为本期介绍的文章，欢迎大家留言讨论交流。ERNIE: Enhanced Representation through Knowledge Integration（2019）大家可能...

本文为预训练语言模型专题系列第八篇快速传送门1-4：[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]5-7：[BERT来临]、[浅析BERT代码]、[ERNIE合集]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介绍的文章，绿框中为本期介绍的文章，欢迎大家留言讨论交流。Multi-Task Deep Neural Networks for Natural Language U...

本文为预训练语言模型专题系列第九篇快速传送门1-4：[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介绍的文章，本期将结合HuggingFace代码浅析Transformer代码，欢迎大家留言讨论交流。前言前面几期一起分享了这么多基于Tr...

本文为预训练语言模型专题系列第十篇，同时增录之前的两篇为第十一和十二篇。快速传送门1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介...