NLP
文章平均质量分 95
mottled233
愚蠢的初学者
展开
-
【论文笔记】Multi-task Learning with Sample Re-weighting for Machine Reading Comprehension(2019,NAACL)
这篇论文主要提出了一种多任务学习(Muti-Task Learning, MTL)运用于MRC技术时,以“给辅助数据集添加权重”的方式来衡量数据可能的贡献,以此也防止非领域数据对模型的污染,其中自动添加权重的思路非常巧妙,值得学习。原创 2020-03-01 15:48:58 · 1112 阅读 · 0 评论 -
【论文笔记】Improving Machine Reading Comprehension with General Reading Strategies(2019,NAACL)
这篇论文在GPT模型的基础上,根据人类认知科学,提出了对非抽取式阅读理解任务的三个优化策略,分别被作者称为前后阅读(BACK AND FORTH READING,BF),高亮阅读(HIGHLIGHT, HL),自我评价(SELF-ASSESSMENT,SA),实际上分别对应输入策略,附加信息,数据增强的策略,对如何进行阅读理解的优化有启发作用。原创 2020-02-27 15:59:54 · 1058 阅读 · 0 评论 -
【论文笔记】BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis(2019)
这篇论文提出了将阅读理解技术用于网络评论数据,来避免现在电子商务机器人的回答不够灵活的缺点的一种思路。作者称这种问题为RRC(Review Reading Comprehension),还做了一个小数据集(大概加起来只有2000多条示例数据)。作者这篇论文对我来说最大的价值在于他提出了一种BERT的后训练方法,让小数据量下训练BERT也得到了很好的效果。1. 介绍前面针对作者定义的RRC的...原创 2020-02-26 14:20:31 · 3030 阅读 · 0 评论 -
【论文笔记】DCN-plus和FusionNet(2018)
这两个前BERT时期的模型可以说是把注意力玩出了花来,给我的感觉就像是穷尽算力和各种信息来推高准确率。但是,这两篇论文里有很多想法也是值得去思考的。通过学习这两个网络,我对注意力的运用模式有了更深的理解。1.DCN+这个网络是对DCN的优化。DCN是全称dynamic coattention networks,动态协同注意力网络。其大致的网络架构图如下图所示:其中两个部分的encoder没...原创 2020-02-22 17:21:40 · 4070 阅读 · 0 评论 -
【论文笔记】Bidirectional Attention Flow for Machine Comprehension(2017)
这篇论文提出了经典的BiDAF模型,即使现在BERT出现,但这篇论文提出的模型仍是具有参考价值,并且这篇论文中对模型和注意力机制进行了详细的探究,帮助我们加深理解整个机器阅读理解过程。1.介绍在2017年,注意力机制已经被很广泛地应用,在机器阅读理解( machine comprehension,MC)中,注意力机制被用于聚焦上下文中与问题最相关的一段,从而实现一种信息提取的作用。在其他论...原创 2020-02-20 16:58:10 · 1562 阅读 · 0 评论 -
【论文笔记】A Theoretically Grounded Application of Dropout in Recurrent Neural Networks(2016)
这篇论文从贝叶斯论的角度分析了RNN网络的优化过程,并以此为基础提出了一种对RNN有效的dropout方法。它用到了近似变分推断的数学方法,这个我啃了好久还是苦于数学能力看得云里雾里。但还是先把笔记记下来吧。1.介绍与现状作者提出,RNN因为缺少正则化,很容易陷入过拟合。现在也有许多这方面的努力,特别是之前还有人基于实验结果提出在RNN上运用dropout效果反而会变差这种结论。作者反驳说这些...原创 2020-02-19 13:42:45 · 1236 阅读 · 0 评论 -
【论文笔记】Highway Network: Training Very Deep Networks (2015)
这篇论文提出了著名的Highway Network,用于解决深层网络的训练问题。这个结构已经得到了广泛的应用,也有很多资料。我之所以阅读这篇五年前的论文,主要是看现在的资料觉得对网络的结构理解的还是比较浅,于是想看看发明者的思路,在这里对收获做了一些总结。1.介绍网络深度的增加会为网络带来更多的表现力,但网络深度同时也让网络很难去训练。在这篇论文之前,解决方案大致从这几个方面出发:优化器:...原创 2020-02-18 18:06:58 · 648 阅读 · 0 评论 -
【论文总结】《Neural Reading Comprehension and Beyond(2018,第一部分)》(阅读理解任务综述)
Danqi Chen的这篇论文很好地概括了从1977年以来的阅读理解领域发展,通读一遍对初学者(我)也是受益匪浅,文章以“数据集和模型的相互促进”为脉络,穿插讲解了各种数据集和模型方法的发展,并拿自己的一个典型模型做了详细讲解,值得一读。我在这里基本是对论文内容进行了压缩和总结,我自己的想法以引用块的形式写在中间。原创 2019-11-10 11:44:23 · 4605 阅读 · 0 评论 -
【论文笔记】Enhanced LSTM for Natural Language Inference(1609)
Enhanced LSTM for Natural Language Inference(1609)这篇论文提出了一个用于处理推理任务的模型,ESIM,并运用语法树为其附加信息,在SNIL上取得了88.6(单ESIM 88.0)的成绩。时间原因没有看Tree-LSTM,据说现在已经被GNN取代。模型总览模型基本框架是BiLSTM(input encoding)— Attention(loc...原创 2019-10-27 12:59:31 · 344 阅读 · 0 评论 -
【论文笔记】Reasoning about Entailment with Neural Attention
Reasoning about Entailment with Neural Attention这篇论文主要讲了他们第一次应用深度学习取得了比现阶段人工特征更好的结果(201509),模型架构大体是:LSTM—Attention—FC分类https://arxiv.org/pdf/1509.06664v1.pdfLSTM层他们使用两个不同的LSTM来分别对Premise和Hypothes...原创 2019-10-27 12:57:49 · 857 阅读 · 0 评论 -
【深度学习与自然语言处理 01】循环神经网络RNN
开这一个系列,一方面是为了作为自己的笔记,加深理解,希望自己能够坚持;另一方面是因为csdn复制粘贴内容太多,现在百度都难找到什么有用的信息了,开头几页全是一样的。由于是一边学习一边写,在文章中会加入很多自己的理解,并不一定正确,希望大家在多多包涵,在评论区指正。本篇学习过程中参考了很多邱锡鹏老师的《神经网络与深度学习》,这本书对神经网络的推导非常详细,推荐同为入门者的大家阅读。前言深度学...原创 2019-09-29 22:18:13 · 696 阅读 · 0 评论 -
【资源聚合平台进度总结】Word2Vec+TextRank实现摘要生成技术
前言在本系统中,由于自动获取的网络上的资源参差不齐,即使通过了机器的审核,仍然可能会给用户的检索带来很大困难。另一方面,现在大多主流的博客所谓自动生成摘要,其实都是自动截取前100个字符,这实在是辜负了现在人工智能和NLP技术的发展。 因此在我们的项目中,我们计划引入摘要生成技术,一是方便用户的检索查看,二是想看看能否利用其作为质量控制系统的一部分。1958年,Luhn便提出了“词频”的...原创 2018-06-14 22:09:03 · 4459 阅读 · 2 评论