自然语言(nlp)论文阅读笔记
跟踪自然语言(nlp)相关方向论文,整理阅读笔记,提供自然语言的落地与应用
bigbao_num
爱生活,爱算法,爱nlp
展开
-
一种解决bert长文本匹配的方法
引言bert1提出来后打开了迁移学习的大门,首先通过无监督的语料训练通用的语言模型,然后基于自己的语料微调(finetune)模型来达到不同的业务需求。我们知道bert可以支持的最大token长度为512,如果最大长度超过512,该怎么样处理呢?下面这边论文提供一种简单有效的解决思路。Simple Applications of BERT for Ad Hoc Document Retriev...原创 2019-11-05 21:40:12 · 5730 阅读 · 1 评论 -
ALBert论文阅读笔记-缩减版的bert,模型参数更少,性能更好
引言自从Bert被提出来后,后续的研究者大多基于bert进行改造,提升预训练语言模型性能,从而提高下游任务的性能。比如ERINE、BERT_WWM、MASS、MT-DNN、RoBERT等等。从GLUE榜上我们可以看到,似乎现在的语言模型有越来越大的趋势,虽然我们的训练资源也是从GPU单卡到GPU多卡,到现在TPU,但不是每个公司都这么有钱,特别对个人,有可能就是一块卡,怎么样在资源有限的情况下,...原创 2019-10-23 19:30:47 · 1795 阅读 · 0 评论