句子嵌入
文章平均质量分 93
triplemeng
这个作者很懒,什么都没留下…
展开
-
基于的BERT的一些改进模型及思路
基于的BERT的一些改进模型及思路被遗弃的NSPUnderfitted的BERT数据和批大小的作用Drop掉dropout减少参数的技术嵌入层的参数化方法-- 矩阵分解层间共享参数改头换面的MLM动态掩码ELECTRA再次证明分类任务的优势插入链接与图片如何插入一段漂亮的代码片BERT的成功主要在于几大因素:超大模型+超大语料;利用Transformer;新的Loss即MLM(Masked La...原创 2020-01-21 08:05:31 · 7534 阅读 · 1 评论 -
XLNet:通用自回归预训练方法
XLNetAR和AEXLNet的比较优势Transformer-XLTransformer 到底慢不慢语言模型里的Transformer一句话总结XL相对位置 编码FLowchart流程图导出与导入导出导入BERT(前文有介绍)火了以后XLNet算是首个真正意义上能和其叫板的工作了。在20个任务上都超过BERT,其中很多还是大幅的超越。AR和AE作者首先对今天NLP的主流预训练方法进行了分类...原创 2019-07-05 03:47:32 · 3413 阅读 · 0 评论 -
多语种句子嵌入
2018年底FAIR出了一个[爆款](Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond)原创 2019-01-24 05:30:18 · 1394 阅读 · 0 评论 -
ELMo算法介绍
这篇介绍一下ELMo算法(论文)。按道理应该加入前面的《关于句子embedding的一些工作简介》系列,但是因为一不小心让我写完结了 :) 所以干脆另写一篇吧。不过从实验效果和重要性来讲,这篇论文也值得好好介绍一下。Introduction 作者认为好的词表征模型应该同时兼顾两个问题:一是词语用法在语义和语法上的复杂特点;二是随着语言环境的改变,这些用法也应该随之改变。作者提出了deep c...原创 2018-09-17 02:13:09 · 55229 阅读 · 13 评论 -
关于句子embedding的一些工作简介(五)---- 从对话中学习
这是《简介》系列的最后一篇文章。原本我是想写一下Universal Sentence Encoder这篇文章,但是从方法的新颖上来讲,它不如同样的这批作者所写的Learning Semantic Textual Similarity from Conversations。论文方法 论文基于这样的观察:在对话中,如果两个问句的回答是相似的,那么这两个问句的相似度就高。比如”How old ar...原创 2018-08-27 06:41:24 · 2322 阅读 · 0 评论 -
InferSent的代码实现
我最近抽空完成了一个新的github项目–InferSent 。 前面的文章有过介绍。我实现它的原因有二:一是因为算法本身简单,二是以为它在各种NLP任务上可以和其他state-of-art的模型对标。InferSent的模型结构如下: InferSent选择了NLI任务用来训练句子embedding,对应的数据集是SNLI,前文有介绍,这里不再赘述。 作为premise和hypothe...原创 2018-08-28 11:59:06 · 3156 阅读 · 2 评论 -
关于句子embedding的一些工作简介(四)---- Quick Thoughts
Quick Thoughts(以下简称QT 论文)可以理解为升级版本的Skip-thought,方法简单很多,但是在效果上可以和InferSent比较,成为state-of-art的算法。Skip-thought 了解QT绕不开Skip-thought(论文)。Skip-thought顾名思义,可以理解为句子版本的Skip-gram(word2vec论文)。在word2vec算法的skip...原创 2018-08-13 01:55:01 · 2538 阅读 · 2 评论 -
关于句子embedding的一些工作简介(三)---- Concatenated p-mean Word Embeddings
这篇论文产生sentence embedding的方法非常简单,但是效果并不差,算是极简主义的一次胜利。由于其简单易操作,尽管过去由一些论文自称为hard/tough-to-beat的baseline,作者把自己的工作称为一个much harder-to-beat baseline。从实际效果看,此言不虚。 最简单的求sentence embedding的方法是对句子里所有的单词embeddin...原创 2018-07-31 11:09:09 · 3059 阅读 · 0 评论 -
关于句子embedding的一些工作简介(二)---- InferSent
书接上回。这篇文章介绍一下2017年影响力非常大的一篇论文 : Supervised Learning of Universal Sentence Representation from Natural Language Inference Data, by Alexis Conneau et al. 迄今为止它在NLP很多任务上都取得了state of art的成绩。贡献实验...原创 2018-07-25 10:26:29 · 4190 阅读 · 0 评论 -
关于句子embedding的一些工作简介(一)
关于句子embedding的一些工作简介(一)对于NLP方面的工作来讲,毫无疑问词嵌入(word embedding)是最重要的基石。然而人们往往最关心的是如何利用词嵌入表达好一个句子或者一段话,也就是如何找到sentence embedding, 或者paragraph embedding过去的一些解决方案Bag of Words 最直观的想法是忽略句子里词语的顺序,从而把它...原创 2018-07-17 17:03:09 · 8160 阅读 · 0 评论