预训练词向量
文章平均质量分 77
IndexFziQ
这个作者很懒,什么都没留下…
展开
-
最简单的方式获取ELMo得到的词向量
Introduction本文的目的就是用最简单的方式获取 elmo 得到的word representation,看了一些其他人的介绍,其实最后对我有用的就这么多了,我只想要他生成的词向量。简单介绍一下 elmo:Allen NLP在NAACL2018上的Best paper - Deep contextualized word representations,使用elmo让原有的模型在NLI...原创 2018-10-18 15:49:48 · 7451 阅读 · 35 评论 -
论文笔记 —— XLNet [在20项任务上超越BERT]
From Google Brain and CMU.Authors: Zhilin Yang∗, Zihang Dai∗, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. LeTitle: XLNet: Generalized Autoregressive Pretraining for Language Understa...原创 2019-06-21 22:40:44 · 1306 阅读 · 0 评论 -
论文笔记 — Transformer-XL [更优秀的长文本编码器]
From Google Brain and CMU.Authors: Zihang Dai∗, Zhilin Yang∗, Yiming Yang, Jaime Carbonell, Quoc V. Le, Ruslan SalakhutdinovTitle: TransformerXL: Attentive Language Models Beyond a Fixed-Length Cont...原创 2019-06-26 11:10:13 · 2214 阅读 · 1 评论