- 博客(3)
- 收藏
- 关注
RSS订阅原创 BERT家族的那些事——RoBERTa篇
本文是BERT家族系列文章的第二篇，主要是自己对于RoBERTa模型的一些理解，写的不好的地方还请大佬们多多指教。目录RoBERTa简介RoBERTa模型结构模型结构层面的修改数据层面的修改总结RoBERTa简介RoBERTa全称：“A Robustly Optimized BERT Pretraining Approach”，从名字上可以看出RoBERTa是对BERT模型做了若干改进。RoBERTa模型在众多数据集上的效果相较于BERT提高了5%-20%，RoBERTa模型结构Ro
2020-10-11 21:39:13
4392
原创 BERT家族的那些事——XLNet篇
本文是BERT家族系列文章的第一篇，也是NLP生涯的第一篇文章，主要是自己对于XLNet模型的一些理解，长文高能预警，写的不好的地方还请大佬们多多指教。目录XLNet模型简介XLNet模型结构1.PLM2.TransformerXL总结XLNet模型简介2018年10月谷歌推出BERT模型，性能上碾压了之前几乎所有的NLP模型，在11项NLP任务上表现优异，但BERT模型也有其不足之处，其改进版XLNet模型在众多数据集上的效果相较于BERT提高了5%-15%，下面让我们来一探究竟，一起
2020-10-06 16:53:39
609
原创 BERT家族的那些事——简介篇
BERT家族的那些事——简介篇2018年10月谷歌公司AI团队发布了BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩，并且横扫11种不同NLP任务，BERT模型的提出为NLP领域带来了里程碑式的改变，更加证明了pretrain+fine-tune这条路的可行性，之后会有越来越多的同行者加入进来。BERT模型虽然表现惊艳，但也有其不足之处，BERT模型提出后的两年内，各种BERT的改进模型纷纷提出，效果和性能各种碾压BERT，本系列文章将会介绍BERT模型的三种改进版，具体如下：
2020-10-06 15:05:47
369
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人