paper review
kaiyuan_sjtu
这个作者很懒,什么都没留下…
展开
-
微软UNILM 2.0:优雅的统一预训练模型
写在前面印象中Illustrating XXX系列的文章感觉都很有趣,这次就来标题党一把哈哈,不好勿喷~刷arxiv看到了之前比较喜欢的一个工作UNILM的续集,这不得提高优先级先来品品(虽然还有一大堆TODO)。关于UNILM 1.0 在之前的文章中已经有介绍了,见站在BERT肩膀上的NLP新秀们(PART II),这种做到NLU和NLG简洁统一的框架真的是非常赞!目前NLP预训练模型主要...原创 2020-03-19 15:59:46 · 11008 阅读 · 0 评论 -
Transformers Assemble(PART V)
写在前面 Set Transformer from OX,ICML2019 Star-Transformer from FDU,NAACL 2019Set Transformer: A Framework for Attention-based Permutation-Invariant Neural NetworksNLP的输入基本都是有顺序性的,但是还有很多机器学习任务的输入都是顺...原创 2020-03-10 17:26:51 · 1034 阅读 · 0 评论 -
NLP简报(Issue#6)
本文首发于公众号:NewBeeNLP欢迎来到 NLP 时事简报第六期!全文较长,建议收藏。如果想让自己有趣的研究/项目出现在NLP简报中,欢迎在公众号后台留言联系我来看看都有哪些内容,enjoy~文章目录1、Publications ????1.1 BERT综述1.2 T51.3 12合1:多任务视觉和语言表示学习1.4 BERT文本表示的跨模式可传递性2、Creativity and Soc...原创 2020-03-05 15:33:30 · 1207 阅读 · 0 评论 -
Transformers Assemble(PART IV)
写在前面 Sparse Transformer from OpenAI,NAACL 2019 Adaptively Sparse Transformers,EMNLP2019Generating Long Sequences with Sparse Transformers来自OpenAI的工作,同样关注于原始Transformer的计算复杂度问题,尤其是在面对长序列输入的情况。为此,...原创 2020-02-24 21:24:53 · 2340 阅读 · 0 评论 -
Transformer Assemble(PART III)
写在前面 Reformer from Google,ICLR2020REFORMER: THE EFFICIENT TRANSFORMER经过之前一段时间的NLP Big Bang,现在相对比较平静了,Transformer系已经占据了绝对的主导地位,在各类应用中表现出色。尽管如此,传统的Transformer仍然存在着一些问题,比如内存占用大、计算复杂度大、无法较好处理长文本等。针对以...原创 2020-02-20 13:18:16 · 2322 阅读 · 0 评论 -
Transformers Assemble(PART II)
写在前面 Set Transformer from OX,ICML2019[x]Set Transformer: A Framework for Attention-based Permutation-Invariant Neural NetworksNLP的输入基本都是有顺序性的,但是还有很多机器学习任务的输入都是顺序无关的set-structure data,比如多示例学习(mul...原创 2020-02-15 10:23:28 · 3311 阅读 · 0 评论 -
Transformers Assemble(PART I )
写在前面 Bi-BloSAN from UTS,ICLR2018 Universal Transformers from UVA&Google,ICLR20191、BI-DIRECTIONAL BLOCK SELF-ATTENTION FOR FASTAND MEMORY-EFFICIENT SEQUENCE MODELING这篇论文首先分析了目前几大类特征抽取器CNN、RN...原创 2020-02-07 17:09:20 · 2980 阅读 · 0 评论 -
Dive into BERT:语言模型与知识
写在前面最近在研究的主要是跟知识相关的一些东西,包括回顾了一些知识表示模型呀,一些大规模的语言模型如何锦上添花融入外部知识的方法呀,如果你感兴趣的话可以直接去之前几篇博客里面瞄一眼。今天就以知识为切入点来更深入地剖析一下最近比较火的预训练模型。1、Language Models as Knowledge Bases?(EMNLP2019)语言模型可以当做是一种知识库吗?知识库是一种格式...原创 2019-11-16 15:17:20 · 13097 阅读 · 0 评论 -
当BERT遇上知识图谱
写在前面上篇博客理了一下一些知识表示学习模型,那今天我们来看目前最流行的BERT模型加上外部知识这个buff后到底会有怎么样的发展。其实这个思路在之前就有出现过比较有意思有效的工作,像百度的ERNIE和ERNIE2.0 以及清华的ERNIE,这些工作的介绍可以参考站在BERT肩膀上的NLP新秀们(PART I)。KG-BERT: BERT for Knowledge Graph Complet...原创 2019-11-06 21:07:39 · 17074 阅读 · 0 评论 -
知识表示学习模型
写在前面最近清华的THUNLP整理了Pre-trained Languge Model (PLM)相关的工作:PLMpapers,非常全面,想要了解最新NLP发展的同学不要错过。本来这篇是打算写一写Knowledge Graph + BERT系列工作的,但是最近有在做知识图谱的一些东西所以就先整理一下知识表示学习(knowledge representation learning)的相关模型发展...原创 2019-10-18 10:30:08 · 19955 阅读 · 0 评论 -
超详细中文预训练模型ERNIE使用指南
写在前面啊实习以后因为各种事就好久没写过博客了。最近在工作上处理的都是中文语料,也尝试了一些最近放出来的预训练模型(ERNIE,BERT-CHINESE,WWM-BERT-CHINESE),比对之后还是觉得百度的ERNIE效果会比较好,而且使用十分方便,所以今天就详细地记录一下。希望大家也都能在自己的项目上取得进展~1、A Glance at ERNIE关于ERNIE模型本身的话这篇不会做...原创 2019-07-31 22:13:03 · 29012 阅读 · 3 评论 -
站在BERT肩膀上的NLP新秀们(PART I)
写在前面去年NLP领域最火的莫过于BERT了,得益于数据规模和计算力的提升,BERT在大会规模语料上预训练(Masked Language Model + Next Sentence Prediction)之后可以很好地从训练语料中捕获丰富的语义信息,对各项任务疯狂屠榜。我们在对BERT进行微调之后可以很好地适用到自己的任务上,具体可以参考之前一篇BERT简单应用:BERT模型实战之多文本分类...原创 2019-06-03 22:17:26 · 15334 阅读 · 3 评论 -
【论文复现】使用RNN进行文本分类
写在前面这是文本分类任务的第二个系列----基于RNN的文本分类实现(Text RNN)复现的论文是2016年复旦大学IJCAI 上的发表的关于循环神经网络在多任务文本分类上的应用:Recurrent Neural Network for Text Classification with Multi-Task Learning下面提及的代码可以在github中查看:https://gi...原创 2018-11-18 15:37:43 · 5395 阅读 · 2 评论 -
【论文复现】使用CNN进行文本分类
写在前面不想做实验,不想看算法,不想刷Leetcode,只想躺尸,,,最近看概率图这一块看得头疼跟着大牛们的论文复现代码,然后一点一点学习吧。嗯今天要写的是关于NLP领域的一个关键问题:文本分类。相对应的论文是:Convolutional Neural Networks for Sentence Classification全部的代码github:text classifi...原创 2018-11-11 10:55:00 · 3662 阅读 · 15 评论 -
【论文复现】使用RCNN进行文本分类
写在前面昨天下午去面试了微信模式识别中心的NLP,被面试官问到自闭,菜是原罪...继续之前的文本分类任务系列,前面介绍了几种:CNN,RNN,fasttext。今天的主角是RCNN对了,顺带可以了解一下RNN与CNN在NLP中的区别于共同点,这个问题在昨天面试中也被问到了。这也是今天这篇论文提出的原因之一吧。(虽然我觉得文中关于CNN的部分只是用了一个max-pooling,本质上并不...原创 2018-11-26 12:56:31 · 5992 阅读 · 6 评论 -
【论文复现】Hierarchical Attention Networks for Document Classification
写在前面最近在整理文本分类方面比较经典的模型,看到了“Hierarchical Attention Networks for Document Classification”这篇论文,还是蛮有意思的,作者的想法也非常有特色,然后就去网上找了一些参考资料博客辅助理解,整理一下思路记下来。论文概述近年来,在NLP领域,好像最流行的就是RNN、LSTM、GRU、Attention等及其变体的...原创 2018-12-22 21:02:13 · 2873 阅读 · 8 评论 -
【论文复现】Character-level Convolutional Networks for Text Classification
写在前面今天讨论的论文依然是文本分类主题的。Character-level Convolutional Networks for Text Classification这篇论文是在2016年4月份发表的,在此之前,深度学习自然语言处理问题的处理思路基本都是基于单词或者短语(n-grams)。这篇文章作者受到 ImagineNet卷积神经网络处理图片从底层像素开始的思路影响,开始试图从字符角度出...原创 2019-01-04 20:29:51 · 1461 阅读 · 1 评论 -
【论文】基于特定实体的文本情感分类总结(PART I)
0. 写在前面最近在看一个比赛:2019 搜狐校园算法大赛,赛题说的是给定若干文章,目标是判断文章的核心实体以及对核心实体的情感态度。每篇文章识别最多三个核心实体,并分别判断文章对上述核心实体的情感倾向(积极、中立、消极三种)。这里说的是实体识别,马上想到的就是利用分步走解决:先去对文章进行实体识别,然后对提取出来的实体进行情感分类。但是后来一想这样两步的话会使得最终结果的错误率叠加,也...原创 2019-05-03 20:50:29 · 4229 阅读 · 3 评论 -
【论文】基于特定实体的文本情感分类总结(PART II)
0. 写在前面五一假期最后一天…太阳超棒…1. Multi-grained Attention Network for Aspect-Level Sentiment ClassificationEMNLP 2018的一篇论文,作者分析了先前提出的ABSA任务模型的不足:使用的attention mechanism都是属于粗粒度的(简单地求和操作),如果对于target word和cont...原创 2019-05-04 20:42:51 · 2121 阅读 · 2 评论 -
【论文】Awesome Relation Classification Paper(关系分类)(PART I)
0. 写在前面“正确的判断来自经验,而经验来自于错误的判断”之前做过的百度今年的语言与智能技术竞赛,其中有一个子赛道就是关于信息抽取。信息抽取(Information Extraction)是指从非结构化的自然语言文本中抽取出实体、属性、关系等三元组信息,是构建知识图谱的基础技术之一。IE的子任务大概有以下几种:实体识别与抽取实体消歧关系抽取事件抽取之前有介绍过关于实体识别...原创 2019-05-06 13:31:17 · 1891 阅读 · 0 评论 -
【论文】Awesome Relation Classification Paper(关系分类)(PART II)
0. 写在前面上一篇【论文】Awesome Relation Extraction Paper(关系抽取)(PART I)介绍了一些关系抽取和关系分类方面的经典论文,主要是以CNN模型为主,今天我们来看看其他模型的表现吧~1. Relation Classification via Recurrent Neural Network考虑到CNN对于文本序列的长距离建模不够理想,作者提出使用RN...原创 2019-05-09 08:55:13 · 1548 阅读 · 0 评论 -
【论文】Awesome Relation Extraction Paper(关系抽取)(PART IV)
0. 写在前面不想写1. Neural Relation Extraction with Multi-lingual Attention(Lin/ ACL2017)这篇文章是在Lin 2016年 Selective Attention的基础上进行改进,将以前仅仅研究单一语言扩展到多语言信息抽取。多数已有的研究都致力于单语言数据,而忽略了多语言文本中丰富的信息。多语言数据对信息抽取任务有以下两...原创 2019-05-14 10:35:48 · 2746 阅读 · 0 评论 -
【论文】Awesome Relation Extraction Paper(关系抽取)(PART III)
0. 写在前面回头看了一遍之前的博客,好些介绍的论文主要是属于关系分类的领域,于是就把前几篇的标题给修改了一下哈哈。关系分类和之前的文本分类,基于目标词的情感识别还都挺像的,baseline模型也都差不多。首先对之前的关系分类算法做个总结,然后进入今天的关系抽取(relation extraction)部分。关系分类总结输入层标配:word embedding + position emb...原创 2019-05-10 11:26:29 · 2813 阅读 · 2 评论 -
Memory Networks论文串烧
写在前面Memory Networks经典论文阅读笔记,会包括Vanilla Memory Networks及其各种变形以及在NLP领域的应用。主要涉及一下论文:Memory Networks (Facebook AI Research/2015)1、Memory NetworksMemory Networks提出的最大卖点就是具备长期记忆(long-term memory),虽然当时...原创 2019-05-24 14:43:23 · 1707 阅读 · 0 评论 -
【论文】基于特定实体的文本情感分类总结(PART III)
0. 写在前面一些ABSA的论文1. Targeted Aspect-Based Sentiment Analysis via Embedding Commonsense Knowledge into an Attentive LSTM...原创 2019-05-28 10:29:13 · 3100 阅读 · 13 评论 -
站在BERT肩膀上的NLP新秀们(PART II)
写在前面在前一篇站在BERT肩膀上的NLP新秀们(PART I)介绍了两个都叫ERNIE的模型,思路也挺相似的,都是给bert模型增加外部知识信息,使其能更好地“感知“真实世界。今天我们来看看另外几个有意思的BERT新秀: XLMs from Facebook MASS from Microsoft UNILM from Microsoft1、Cross-lingual Langua...原创 2019-06-05 21:45:01 · 12573 阅读 · 2 评论 -
【论文】Awesome Relation Extraction Paper(关系抽取)(PART V)
写在前面Ranking-Based Automatic Seed Selection and Noise Reduction for Weakly Supervised Relation Extraction(Phi/ACL2018)原创 2019-05-29 12:52:15 · 3024 阅读 · 3 评论 -
站在BERT肩膀上的NLP新秀们(PART III)
MT-DNN from Microsoft MT-DNN-2 from Microsoft GPT-2 from OpenAI VideoBERT from Google原创 2019-06-13 10:59:56 · 12296 阅读 · 0 评论 -
【论文复现】使用fastText进行文本分类
写在前面今天是补笔记的一天。。。今天的论文是来自Facebook AI Research的Bag of Tricks for Efficient Text Classification也就是我们常用的fastText最让人欣喜的这篇论文配套提供了fasttext工具包。这个工具包代码质量非常高,论文结果一键还原,目前已经是包装地非常专业了,这是fastText官网和其github代...原创 2018-11-23 22:05:18 · 3390 阅读 · 0 评论