论文笔记
changreal
这个作者很懒,什么都没留下…
展开
-
【总结向】MRC 经典模型与技术
MRC 经典模型与技术目录MRC 经典模型与技术预备知识文章和问题表示文档表示模型一:RNN表示模型二:基于注意力的文档的表示问题的表示模型一:RNN表示模型二:基于注意力的问题表示(同上文文档表示)模型三:双向RNN头尾部隐层节点的表示经典AttentionSeg2SegRNN Seg2Seg卷积Seg2SegPositional EncodingNormalizationBatch norm...原创 2020-03-24 16:20:42 · 4970 阅读 · 1 评论 -
【中文MRC】2019_IEEE_R-Trans: RNN Transformer Network for Chinese Machine Reading Comprehension
1 概述动机中文MRC任务需要分词,但是分词的话利用现有分词工具不可避免地会产生分词错误,从而对下游任务产生影响。而分词问题,可以通过结合local and global context信息来解决(也就是说中文短语在不同的上下文中会有不同的意思),但由于已知的词嵌入比如GloVe、Word2vec是在英语语料上训练的,因此无法根context来产生一个单词的不同分布表示向量。因此,当务之急就...原创 2020-03-18 21:59:47 · 508 阅读 · 0 评论 -
【论博文笔记】XLNet总结
结合XLNet结合了Bert、GPT 2.0和Transformer XL它通过PLM预训练目标,吸收了Bert(AE)的双向语言模型;GPT2.0更多更高质量的预训练数据,这也被XLNet吸收进来;引入Transformer XL来解决Transformer对于长文档应用不好的问题XLNet 四个好处结合AE优点,PLM获取双向语义信息(对token级别的任务如RC\QA很重要...原创 2020-03-03 21:15:18 · 538 阅读 · 0 评论 -
【博文笔记】AoA Reader_Attention-over-Attention Neural Networks for Reading Comprehension
介绍论文地址:Attention-over-Attention Neural Networks for Reading Comprehension参考博文:https://www.imooc.com/article/29985https://www.cnblogs.com/sandwichnlp/p/11811396.html#model-4-aoa-reader数据集:CNN&...原创 2019-12-30 10:32:41 · 579 阅读 · 0 评论 -
【博文笔记】Attentive Reader\Impatient Reader:机器阅读理解之开山之作Teaching Machines to Read and Comprehend
来源参考博客:机器阅读理解(看经典MRC模型与花式Attention)CNN&Dailymail:Teaching Machines to Read and Comprehend论文: Teaching Machines to Read and Comprehend简介数据库:CNN&Dailymail任务类型:完型填空神经网络模型:Attentive Rea...转载 2019-12-29 21:00:52 · 1066 阅读 · 0 评论 -
【论文笔记】Enhancing Pre-Trained Language Representations with Rich Knowledge for MRC
KT-NET——Knowledge and Text fusion NETKBs :WrodNet + NELL ; distrubuted representations of KBs(KB embeddings).WordNet:记录了lexical relations, 比如(organism, hypernym of, animal)NELL:stores belief...原创 2019-12-24 23:06:37 · 1437 阅读 · 0 评论 -
【论文笔记】AS Reader vs Stanford Attentive Reader
Attention Sum Reader Network数据集CNN&DailyMail每篇文章作为一个文档(document),在文档的summary中剔除一个实体类单词,并作为问题(question),剔除的实体类单词即作为答案(answer),该文档中所有的实体类单词均可为候选答案(candidate answers)。其中每个样本将文本中所有的命名实体用类似“...原创 2019-12-23 15:45:22 · 574 阅读 · 0 评论 -
【论文笔记】Knowledgeable Reader_ Enhancing Cloze-Style Reading Comprehension with External Commonsense Kg
Abstract和介绍论文特点:引入了external commonsense knowledge, encode as key-value memory,并把知识和context representation(document-to-question)来answer;数据集是Common Nouns dataset;CBT(common and named entities)知...原创 2019-12-23 11:02:54 · 1084 阅读 · 0 评论 -
【论文笔记】QANET:Combining Local Convolution With Global Self-attention for Reading Comprehension
1. 简要介绍模型创新点:(一)移除了RNN,核心就是卷积 + self-attention。这样使得训练更快,相应地模型能使用更多的训练数据。Convolution capture the local structure of context(local interactions), self-attention models global interactions。两者相辅相成,不可替...原创 2019-12-02 15:16:41 · 538 阅读 · 0 评论 -
【论文翻译+笔记】Neural Machine Reading Comprehension: Methods and Trends
1 Introduction过去的MRC技术的特点:hand-crafted rules or features缺点Incapable of generalizationperformance may degrade due to large-scale datasets of myriad types of articlesignore long-range dependencies...原创 2019-11-30 21:33:52 · 3936 阅读 · 0 评论 -
【论文笔记】ULMFiT——Universal Language Model Fine-tuning for Text Classification
0 一些术语tranductive transfer 直推迁移学习inductive transfer 归纳迁移学习sample transfer learning 样本迁移学习1 Introduction对于归纳迁移学习:(2013)年的fine-tuning pre-trained word embeddings 迁移技术只针对模型第一层,但是有很大的影响,大多先进模型都用了它。...原创 2019-11-25 09:57:35 · 952 阅读 · 2 评论 -
【论文笔记】Bi-DAF(待修)——BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION
0 摘要represents the context at different levels of granularityuses bi-directional attention flow mechanism to obtain a query-aware context representation without early summarization1 introduce先前工...原创 2019-11-17 12:07:33 · 291 阅读 · 0 评论 -
【论文笔记】GPT-1:Improving Language Understanding by Generative Pre-Training
Abstract核心思想: generative pre-training + discriminative fine-tuning1 Introduction为了获取更多annotation,利用linguistic info从unlabeled data中学习,这很有价值,减轻了对NLP中监督学习的依赖,毕竟许多domains缺乏annotated resources,并且用无监督学习学...原创 2019-11-10 20:48:54 · 1800 阅读 · 0 评论 -
【论文笔记】ELMo:Deep contextualized word representations
Abstract介绍一种新型的深度语境化(deep contextualized)词表示:模拟了复杂的词特征的使用(例如,语法和语义)模拟了词在不同语境中的使用(use vary across linguistic contexts)其他要点:这个词向量是一个深度双向语言模型(biLM)内部状态的学习函数(vectors are learned functions of the i...原创 2019-11-04 13:58:36 · 685 阅读 · 0 评论 -
【论文笔记】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
http://naotu.baidu.com/file/d071cf1eb5b25bf39b66bc239bc3d735?token=8b4f732e6e75fe05原创 2019-11-01 11:26:13 · 151 阅读 · 0 评论 -
【论文笔记】Attention is all you need
在阅读本文之前,关于self-attention的详细介绍,比较全面的transformer总结之前copy的这篇文章,有了self-attention的基础之后再看这篇文,感觉就容易了。这篇总结主要基于论文。文章目录1 Introduction2 Background3 Model Architecture3.1 Encoder and Decoder Stacks3.2 Attention...原创 2019-10-18 20:38:11 · 574 阅读 · 0 评论 -
【论文笔记copy】Attention总结三:self-attention与transformer
self-attention与transformer讲解论文:attention is all you need.参考1.完全参考这篇博客,讲的非常好!本总结只是复述。2.还参考了知乎的这篇文章,作为补充文章目录参考1 self-attention具体1.1 过程1.2 矩阵的self-attention1.3 Scaled Dot-Product Attention2 transf...转载 2019-10-18 14:22:07 · 1093 阅读 · 0 评论 -
【论文笔记】Attention总结二:Attention本质思想 + Hard/Soft/Global/Local形式Attention
Attention总结二:涉及论文:Show, Attend and Tell: Neural Image Caption Generation with Visual Attentio(用了hard\soft attention attention)Effective Approaches to Attention-based Neural Machine Translation(提出...原创 2019-10-12 13:36:42 · 3636 阅读 · 1 评论 -
【论文笔记】Attention总结一:基于论文Neural Machine Translation by Jointly Learning to Align and Translate
0 Attention背景知识总结encoder-decoder这part的背景来源于这篇:https://blog.csdn.net/u012968002/article/details/78867203 这篇attention文章讲解的很好。encoder-decoder中,将输入句子通过非线性变换转化为中间语义表示C,对于解码器Decoder来说,其任务是根据句子Source的中间语义...原创 2019-09-30 15:38:24 · 850 阅读 · 2 评论 -
【论文笔记】MRC综述论文+神经阅读理解与超越基础部分总结
Machine Reading Comprehension(主要是NRC)MRC:数据集与技术——主要是神经阅读理解数据集(详细数据集见论文 or 笔记图)抽取答案数据集: triviaQA\ SQUAD1.0/2.0; triviaQA; WIKIHOP(multi-hop reasoning)描述性 descriptive:NarrativeQA\unanswerable ques...原创 2019-09-30 13:04:42 · 1738 阅读 · 0 评论