PaperNotes
文章平均质量分 61
小妖精Fsky
这个作者很懒,什么都没留下…
展开
-
From Softmax to Sparsemax: A Sparse Model of Attention and Multi-Label Classification
这篇文章都看两遍啦,太忙没空更,待我找个时间原创 2018-01-29 17:15:36 · 2101 阅读 · 2 评论 -
adversarial training在NLP中的应用
就是总结下自己看的论文(看的太少啦,需要多多努力) 该篇的博文的雏形应该是:大概介绍下对抗如何解决该任务?监督学习 image classification (explaining and harnessing adversarial examples, 2014) 分词:Adversarial Multi-Criteria Learning for Chinese Word Segm...原创 2018-06-11 10:44:44 · 4031 阅读 · 0 评论 -
关于attention的一点小认知
很久之前就看过attention的相关知识,只是没有动手实践,所以很多小细节没有考虑到. (1)sequence-to-sequence model中,在解码的第一步S0_0是如何计算的就晕了好一阵,下面的图给出了解释 http://blog.csdn.net/xbinworld/article/details/54607525 (2)self-attention的两种计算方式原创 2018-01-06 21:01:21 · 1147 阅读 · 0 评论 -
[Coling2018]SGM: Sequence Geneatin Model for Multi-Label Classificatin
这篇文章是Coling2018年的best paper, 因为之前解决multi-label问题都是用分类的方法,本文提供了一种新思路,用生成的方式解决该问题。觉得还是挺新颖的,记录一下。一:任务介绍Multi-label classification(MLC) is to assign multiple labels to each instance in the dataset就是针对数...原创 2018-10-23 21:07:26 · 639 阅读 · 0 评论 -
[NIPS2017]Attention is all you need
这篇文章是火遍全宇宙,关于网上的解读也非常多,将自己看完后的一点小想法也总结一下。参考文献:https://blog.csdn.net/qq_41058526/article/details/80783925?utm_source=blogxgwz0...原创 2018-10-26 15:15:17 · 1697 阅读 · 0 评论 -
[NAACL2018]Deep Contextualized Word epresentations
这篇文章是NAACL2018年的best paper, 也是火的炙手可热,网上关于这篇文章的解读也是多如牛毛,但是不是有种说法,一千个人眼里有一千个哈姆雷特,所以讲自己的心得总结于此。也将比较好的解读放在下面的参考文献里。稍后更(一定会更的,必须要给自己压力啊)参考文献:https://zhuanlan.zhihu.com/p/38254332...原创 2018-10-24 17:12:34 · 287 阅读 · 0 评论 -
[IJCAI-ECAI2018]Joint Extraction of Entities and Relations Based on a Novel Graph Scheme
之前看的文章都是参数共享,该文章是我见到的第一篇在神经网络中用的joint decoding. 刚看完,觉得还是非常不错的,明天更吧原创 2018-06-08 22:46:09 · 2397 阅读 · 4 评论 -
Ensemble Neural Relation Extraction with Adaptive Boosting
完全是因为adaptive Boosting吸引了我,慢慢积累慢慢成长(有点事,没有更完) AdaBoosting: 通过顺序的学习一些弱分类器,然后通过加权投票(weight voting)得到最后的预测,每一次迭代后,样本的权重都会更新 先给出paper中出现的符号意思: 接下来一一给出公式的解释: 公式(4) 是分类器对K个语料进行分类的错误率,公式(3)中的 j 是第j个b...原创 2018-06-13 15:17:59 · 591 阅读 · 2 评论 -
[COLING2016]Relation Extraction with Multi-instance Multi-label Convolutional Neural Networks
我将能表示论元大意的图片一一给出.然后再给出解释: 远程监督学习就是给包打标签, 一个包里的所有句子包含的实体对是相同的. Figure 1也就是本文的做法就是将包里所有的句子一起处理, 确定实体对的关系(不是一个关系类型,一个包可能有多个关系) Figure 3给出一句话的处理过程, 首先将句子pad 零到句长为h, 然后将句子每个词都转换为embedding(word emb...原创 2018-02-28 16:33:03 · 1529 阅读 · 0 评论 -
[AAAI2018]SEE:Syntax-aware Entity Embedding for Neural Relation Extraction
Distant supervised的用处(1)扩大训练语料(2)找到新的关系 我一度混淆了远程监督和多示例的概念,特在此再强调下: 远程监督是借助外部已有知识库 多示例是:给包打标签,一个包里包含多个句子,这些句子都包含相同的实体对,并不是给句子中的实体对打标签,而是给包打标签 我觉得这篇文章的核心思想有两个(1)利用一依存树将实体的子节点进行递归和attention计算...原创 2018-03-01 09:29:36 · 1291 阅读 · 0 评论 -
[COLING2016]Semantic Relation Classification via Hierarchical Recurrent Neural Network with Attentio
实体对将句子分为5个部分即左部分,实体1,中间部分,实体2,右部分,其中左部分,中间部分和右部分三个序列中每一部分都有一系列词组成,分别对其进行bilstm+attention生成r11_1, r22_2和r33_3, 按照Figure1所示,假设entity1 的indice是j, entity2的indice是K, 那么有r11_1, xjj_j, r22_2, xkk_k和r33_3组成...原创 2018-03-02 09:31:54 · 991 阅读 · 0 评论 -
[EMNLP2017]Context-Aware Representations for Knowledge Base Relation Extraction
主要贡献是考虑了句子中的其他关系,详细介绍稍后给出原创 2018-03-03 09:29:06 · 961 阅读 · 0 评论 -
[ACL2016]RBPB:Regularization-Based Pattern Balancing Method for Event Extraction
中午后更原创 2018-03-14 09:42:36 · 604 阅读 · 2 评论 -
[AAAI2018]Learning Structured Representation Representation for Text Classification via Reinforcemen
文本分类的主流表示大致分为四类 - Bag-of-words representation models - Sequence representation models - Structured representation models - Attention-based methods 已存在的structured representation models中,结构信息要...原创 2018-04-21 15:06:18 · 1181 阅读 · 1 评论 -
[ICLR2018]Deep Active Learning for Named Entity Recognition
目前神经网络在各领域很多任务上都取得了瞩目的成就,但是最大的缺陷就是需要大量的标注语料,成本较高,于是本文采用active learning 挑选一部分包含了更多信息的示例用于训练,得到了较好的性能. Data Representation:每个句子的句首和句尾都加上特殊符号, 句首加[BOS], 句尾加[EOS]将句长相差不多的句子聚在一起,并pad到相同的长度,选用符号[PAD]补齐...原创 2018-05-09 22:21:09 · 3512 阅读 · 0 评论 -
relation extraction目前进展
目前relation extraction做到了哪一步??总结下,下面只是给出了几篇相关文献还未总结[coling2014]Relation classification via convolutional deep neural network [emnlp2015] Distant supervision for relation extraction via piecewise con...原创 2018-06-11 11:02:44 · 1553 阅读 · 0 评论 -
BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding
为什么采用’Masked language Model’ ?原创 2018-11-08 17:13:40 · 600 阅读 · 0 评论 -
比较好的 Paper Notes 集锦
这些notes不是简单地翻译paper, 而是深入地进行解析,我觉得这些解析对于我理解这些Paper有比较大的帮助,特意总结在此以便下次查看。Deep Residual Learning for Image Recognition:https://blog.csdn.net/qq_30478885/article/details/78828734...原创 2018-12-06 18:31:05 · 655 阅读 · 0 评论 -
[Coling2018]SGM:Sequence Generation Model for Multi-Label Classification
多标签分类问题在现实生活中是一个普遍存在的问题,比如电影分类问题,电影的类别有多种如:科幻、喜剧、动作和剧情等等,一部电影可以同时拥有多个类别,而且绝大多数电影都是拥有多个类别的。针对这样的问题,在应用研究中人们已经开始使用计算机来进行多标签分类问题的研究,在文本分类中,可以将一篇文章分类到多个话题中,如:社会、科学、体育和娱乐等。一、多标签分类与单标签分类的区别针对语料库中每一个实例都可以有...原创 2018-12-17 18:28:26 · 1734 阅读 · 0 评论 -
Paper List of Text Classification
[EMNLP2014] Convolutional Neural Networks for Sentence Classification原创 2019-03-15 14:07:42 · 217 阅读 · 0 评论 -
[ICML2015]Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shif
搭建的网络太深导致低层的梯度太小,经大牛点拨后才知道batch normalization就是处理该问题才提出的,于是后知后觉知道这篇文章原来非常有用,深深觉得惭愧,觉得自己太搓了.看来修炼之路还很长,要耐心坚持,点点滴滴积累. 中午饭后更原创 2017-12-13 09:47:00 · 485 阅读 · 0 评论 -
[ACL2018]Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting
这篇文章很有意思,尽管我现在还不是理解的很透彻,先把里面涉及到的概念理解清楚,再看一遍源码再做笔记。policy gradient:coverage mechanismbeam search tri-gram avoidancediverse decoding algorithm...原创 2019-02-12 17:38:49 · 1063 阅读 · 0 评论 -
[NAACL2016]Incorporating structural alignment biases into a attentional neural translat
目标函数很有新意,争取今天更原创 2019-03-19 10:00:36 · 284 阅读 · 0 评论 -
[ICLR2017] Bi-Directional Attention Flow for Machine Comprehension
本文只给出了Context2Query和Query2Context部分的理解两部分只是对相似性矩阵S\bold{S}S ∈\in∈ RT∗J\mathbb{R}^{T*J}RT∗J 进行进一步处理, 我觉得有书写错误,如果看Figure 1可知应该修改为S\bold{S}S ∈\in∈ RJ∗T\mathbb{R}^{J*T}RJ∗T。Context-to-Query Attention:...原创 2019-04-08 14:54:16 · 445 阅读 · 0 评论 -
[ICLR2017] Machine Comprehension Using Match-LSTM and Answer Pointer
文章思路的框架图如下:本文涉及到的两个技术点:(1) match-LSTM: 第一次接触,后面会有详细介绍(2) Pointer Net: 针对这个网络有专门的解析,这里不再赘述https://blog.csdn.net/appleml/article/details/76988385本文还给出了该任务(Machine comprehension) 的解决的两个问题映射模型:(1) ...原创 2019-04-12 18:46:03 · 357 阅读 · 0 评论 -
[AAAI2019] DRr-Net:Dynamic Re-read Netwok for Sentence Semantic Matching
我现在是越来越偷懒了,不太喜欢总结了,但是又感觉不总结的话这篇文章很快就又忘记了,再看题目可能会陌生的觉得自己没看过,所以还是做个notes 好了...原创 2019-04-16 18:03:33 · 770 阅读 · 0 评论 -
[ACL2018]Retrieve, Rerank and Rewrite:Soft Template Based Neural Summarization
本文的文本摘要是抽象式文本生成的方式这两个更,最好今天能更原创 2019-04-15 10:07:12 · 957 阅读 · 0 评论 -
Machine Translation Paper Lists
[NAACL2018] Improving Neural Machine Translation with Conditional Sequence Generative Adversarial Nets原创 2019-03-04 20:46:11 · 360 阅读 · 0 评论 -
Machine Translation Paper List
目前machine translation都是基于seq2seq框架的,大都应用了attention mechanism,将我读到一些关于 mt 的文章都整理如下:方便自己查询。Neural Machine Translation by Jointly Learning to Align and TranslateNeural Machine Translation by Jointly Le...原创 2019-02-28 17:14:34 · 293 阅读 · 0 评论 -
[AAAI2017]SeqGAN:Sequence Generative Adversarial Nets with Policy Gradient
目前在看源码:稍后更新关于本文解析的非常好的几篇博文:https://www.colabug.com/2639033.htmlhttps://blog.csdn.net/Mr_tyting/article/details/80269143https://www.jianshu.com/p/45d45b8541f0详解GAN在自然语言处理中的问题:原理、技术及应用:http://www....原创 2019-01-17 16:55:31 · 565 阅读 · 0 评论 -
highway network
https://arxiv.org/pdf/1505.00387.pdf看SeqGan源码的时候发现代码里用了highway network, 为了更清晰与Resnet进行对比,所以特意进行打印了这篇文章。待细看后再总结https://blog.csdn.net/sinat_35218236/article/details/73826203https://blog.csdn.net/l494...原创 2019-01-18 16:58:35 · 646 阅读 · 0 评论 -
[ICLR2018] A Deep Reinforced Model for Abstractive Summarization
刚看完,稍后更原创 2019-02-15 18:44:15 · 962 阅读 · 1 评论 -
[ACL2017] Get to The Point: Summarization with Pointer-Generator Networks
生成式的文档摘要,主要是提出了Coverage机制,为了解决seq2seq模型生成句子中经常有重复片段现象原创 2019-02-12 18:30:27 · 2647 阅读 · 0 评论 -
[CVPR2017]Self-critical sequence training for image captioning
一直以后都只关注NLP方面的paper,涉及到图像的文章基本不看,可是最近看了一篇文本摘要的的文章用了the self-critical policy gradient training algorithm,所以就看了这篇文章,旨在学习self-critical policy gradient, 很多新方法新技术一开始都是先用着了图像上之后才延伸到文本处理上,所以决定一点一点将图像方面的补起来,要...原创 2019-02-19 10:36:22 · 1132 阅读 · 0 评论 -
命名实体识别(NER) paper list
CRF method:Conditional random fields:Probabilistic models for segmenting and labeling sequence dataBiLSTM-CRF methods:Neural Architectures for Named Entity Recognition Bidirectional LSTM-CRF models...原创 2019-02-28 14:02:36 · 1574 阅读 · 0 评论 -
文本摘要 Paper List
文本摘要(都是针对长文本)(1) 抽取式(2) 抽象式(生成式)强化学习:非强化学习:Get to The Point:Summarization with Pointer-Generator Networks [ACL2017]Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting [ACL2...原创 2019-02-28 14:34:56 · 455 阅读 · 0 评论 -
[ACL2019]Graph-based Dependency Parsing with Graph Neural networks
Dependency Parsing目前有两种做法:(1) Transition-Based(2) Graph-Based构建树的过程中有三种解码算法:(1) dynamic programming {Three new probabilistic models for dependency parsing: An exploration}(2) maximum spanning tre...原创 2019-08-21 15:08:31 · 890 阅读 · 0 评论 -
[EMNLP2014]A Fast and Accurate Dependency Parser using Neural Networks
依存树的数据结构表示:用一个例子说明另外文中用了pre-computation trick, 数据结构的表示以及解释原创 2016-09-06 20:43:05 · 1493 阅读 · 0 评论 -
[EMNLP2016]A Decomposable Attention Model for Natural Language Inference
自然语言推理:给出两句话,判断它们是entailed, contradicts还是neural原创 2017-08-14 14:49:59 · 2237 阅读 · 0 评论 -
[ICLR2017]A Structured Self-attentive Sentence Embedding
为了更好地表示句子的内在含义,本文提出了一种 self-attention mechanism , 可以从 r(超参数)个方面刻画句子的特性。不同于其他的使用attention的任务,本文只有一个input,对该句子进行 self-attention模型由两部分组成(1)bilstm , H 的矩阵大小是n*2u (原创 2017-08-14 22:21:41 · 1675 阅读 · 0 评论