深度学习
文章平均质量分 79
进击的NLPer
这个作者很懒,什么都没留下…
展开
-
BERT家族的那些事——RoBERTa篇
本文是BERT家族系列文章的第二篇,主要是自己对于RoBERTa模型的一些理解,写的不好的地方还请大佬们多多指教。目录RoBERTa简介RoBERTa模型结构模型结构层面的修改数据层面的修改总结RoBERTa简介RoBERTa全称:“A Robustly Optimized BERT Pretraining Approach”,从名字上可以看出RoBERTa是对BERT模型做了若干改进。RoBERTa模型在众多数据集上的效果相较于BERT提高了5%-20%,RoBERTa模型结构Ro原创 2020-10-11 21:39:13 · 4468 阅读 · 0 评论 -
BERT家族的那些事——XLNet篇
本文是BERT家族系列文章的第一篇,也是NLP生涯的第一篇文章,主要是自己对于XLNet模型的一些理解,长文高能预警,写的不好的地方还请大佬们多多指教。目录XLNet模型简介XLNet模型结构1.PLM2.TransformerXL总结XLNet模型简介2018年10月谷歌推出BERT模型,性能上碾压了之前几乎所有的NLP模型,在11项NLP任务上表现优异,但BERT模型也有其不足之处,其改进版XLNet模型在众多数据集上的效果相较于BERT提高了5%-15%,下面让我们来一探究竟,一起原创 2020-10-06 16:53:39 · 647 阅读 · 0 评论 -
BERT家族的那些事——简介篇
BERT家族的那些事——简介篇2018年10月谷歌公司AI团队发布了BERT模型,在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩,并且横扫11种不同NLP任务,BERT模型的提出为NLP领域带来了里程碑式的改变,更加证明了pretrain+fine-tune这条路的可行性,之后会有越来越多的同行者加入进来。BERT模型虽然表现惊艳,但也有其不足之处,BERT模型提出后的两年内,各种BERT的改进模型纷纷提出,效果和性能各种碾压BERT,本系列文章将会介绍BERT模型的三种改进版,具体如下:原创 2020-10-06 15:05:47 · 387 阅读 · 0 评论