triplemeng的博客

文章目录Transformer的好处及复杂度Transformer变种的几大流派ReformerLongformer, Big bird, LinformerPerformerTransformer的好处及复杂度Transformer今天多么的火这里就不用多说了。每个节点对每个节点的注意力机制保证了长程无损耗的信息传递。从图神经网络的观点来看，它是一个全连接的完全图。为什么它在NLP领域中如此有效？这是因为它足够复杂，以至于满足了语言内生的复杂性。引用史蒂芬平克的对写作的定义：… the writer

这个题目很拗口。我的本意是说这两个东西：零样本的机器翻译，和无监督条件GAN 其实很像，如果抛开二者的domain不同(一个是NLP，一个一般是在图像领域)，这两者简直一模一样。目录无监督学习zero-shot机器翻译无监督条件GAN效果相似无监督学习Yann Lecun多次提到这样的类比: 如果把“智能”（intelligence）比作一个蛋糕，那么无监督学习就是蛋糕本体，监督学习是蛋糕上的糖霜，而增强学习是蛋糕上的樱桃。我们知道如何得到糖霜和樱桃，但不知道怎样做蛋糕。 今天少样本甚至零样本的学习，

TransCoder介绍无监督的代码转换无监督机器翻译XLM字典-- BPE两种预训练去噪编码和回译TransCoder三部曲XLM: 预训练编码器和解码器Denoising auto-encoding: 训练同语种"翻译"Back-translation: 训练跨语种翻译测试集效果总结人工智能如果能写代码的话那可能就是程序员的噩梦了。不过也许人们可以把更多的精力放在真正创造性的工作上去，比如移民火星什么的。Facebook的TransCoder虽然不能解放人类，但是也算朝这个方向迈出了坚实的一步。无监

XLNetAR和AEXLNet的比较优势Transformer-XLTransformer 到底慢不慢语言模型里的Transformer一句话总结XL相对位置 编码FLowchart流程图导出与导入导出导入BERT(前文有介绍)火了以后XLNet算是首个真正意义上能和其叫板的工作了。在20个任务上都超过BERT，其中很多还是大幅的超越。AR和AE作者首先对今天NLP的主流预训练方法进行了分类...

MASS: 一统GPT和BERT的Seq to Seq框架MASS功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入MA...

IRGANGAN的新领域功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入GAN的新领域最近BIGGAN又让GAN火了...

2018年底FAIR出了一个[爆款](Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond)

这篇介绍以下最近大热的[BERT](https://arxiv.org/pdf/1810.04805.pdf)，它在11个NLP任务中刷新了成绩，效果确实惊人。

ULMFiT文本分类器ULMFiT是什么新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入上篇介绍了ELMo。E...

我最近抽空完成了一个新的github项目–InferSent 。 前面的文章有过介绍。我实现它的原因有二：一是因为算法本身简单，二是以为它在各种NLP任务上可以和其他state-of-art的模型对标。InferSent的模型结构如下： InferSent选择了NLI任务用来训练句子embedding，对应的数据集是SNLI，前文有介绍，这里不再赘述。 作为premise和hypothe...

Quick Thoughts(以下简称QT 论文)可以理解为升级版本的Skip-thought，方法简单很多，但是在效果上可以和InferSent比较，成为state-of-art的算法。Skip-thought 了解QT绕不开Skip-thought(论文)。Skip-thought顾名思义，可以理解为句子版本的Skip-gram(word2vec论文)。在word2vec算法的skip...

这篇论文产生sentence embedding的方法非常简单，但是效果并不差，算是极简主义的一次胜利。由于其简单易操作，尽管过去由一些论文自称为hard/tough-to-beat的baseline，作者把自己的工作称为一个much harder-to-beat baseline。从实际效果看，此言不虚。 最简单的求sentence embedding的方法是对句子里所有的单词embeddin...

书接上回。这篇文章介绍一下2017年影响力非常大的一篇论文 : Supervised Learning of Universal Sentence Representation from Natural Language Inference Data, by Alexis Conneau et al. 迄今为止它在NLP很多任务上都取得了state of art的成绩。贡献实验...

最近我突然有了一些富余的整块时间。于是我实现了一些有意思的论文的idea, 其中印象最深的还是《Hierarchical Attention Networks for Document Classification》。我把相关代码放到这里了： https://github.com/triplemeng/hierarchical-attention-model综述今天，基本上所有的NLP方面的应用，