- 博客(81)
- 收藏
- 关注
RSS订阅原创 Gsum: A General Framework for Guided Neural Abstractive Summarization 论文笔记
SS。
2023-04-09 14:24:38
823
2
原创 Hierarchical Graph Network for Multi-hop Question Answering 论文笔记
Hierarchical Graph Network for Multi-hop Question Answering 论文笔记2020 EMNLP，Microsoft 365， 这篇文章所提出的层级图模型是在leaderboard上排名比较高的一个模型。Overview这篇文章同样是引入图表示学习来做多跳推理，但是本文在建图上做了改进和创新，提出Hierarchical Graph。作者认为之前基于图表示学习的方法有两个不足：一是图只被用来预测答案，没有充分地去寻找supporting fact；二
2022-02-20 16:30:12
2055
原创 《Dynamically Fused Graph Network for Multi-hop Reasoning》 论文笔记
Dynamically Fused Graph Network for Multi-hop Reasoning 论文笔记2019ACL，SJTU & ByteDance，这是一篇融合了图表示学习来做多跳推理的文章。Overview本文作者提出的模型叫做DFGN，作者首先谈到HotpotQA这种类型的数据集带给人们两大挑战：数据集中给出的paragraph并不都是与问题相关的，模型需要过滤掉噪声。针对这一问题，之前的工作提出构建基于paragraph的entity graph，然后通过图神经
2022-02-20 11:11:57
850
原创 Multi-hop Reading Comprehension through Question Decomposition and Rescoring 论文笔记
Multi-hop Reading Comprehension through Question Decomposition and Rescoring2019年的一篇在Hotpot数据集上进行实验的文章，由UW和AllenAI共同发表。Overview这篇文章是在HotpotQA数据集提出后发表的，针对HotpotQA所提出的复杂问题多跳推理任务提出解决方案。本文所提出的模型叫做DECOMPRC，核心在于DECOMP，也就是对复杂问题进行分解。这种做法在KBQA中也出现过，对应的模型叫做TextRa
2022-02-16 21:20:14
1743
1
原创 HotpotQA数据集
HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question AnsweringDatasetHotpotQA是2018年新提出的一个多跳推理问答数据集，本文主要来看数据集的格式。从图上可以看出数据集还是比较大的，训练集分为了三个难度：easy、medium、hard，其中medium占主要部分。整个数据集其实还可以分成两类：distractor和fullwiki。distractor的数据包含以下的几个部分：问题问题的类型
2022-02-16 21:18:07
2919
原创 《Learning to Answer Complex Questions over Knowledge Bases with Query Composition》论文笔记
Learning to Answer Complex Questions over Knowledge Bases with Query Composition这是一篇密歇根安娜堡发表在CIKM上的文章，主题为KBQA，依然是SP-based。Overview这篇文章处理的是复杂问题，主题方法还是通过SP生成query graph，然后使用神经网络的方法进行语义匹配找到最佳的查询图，最后在KB中执行。但是本文的最大创新点在于：作者假设complex question可以被分解为多个simple que
2022-02-06 08:54:38
407
1
原创 《Bidirectional Attentive Memory Networks for Question Answering over Knowledge Bases》论文笔记
Bidirectional Attentive Memory Networks for Question Answering over Knowledge Bases2019年NAACL的一篇文章，依然是利用深度学习方法解决KBQA问题Overview由于最近KBQA任务中深度神经网络取得了很大的成功，本文也采用了深度学习的做法（用到了很少量的人工特征），属于IR-based + DL的范畴。作者认为之前的IR-based的做法没有怎么关注question与KB之间的关系，因此本文通过大量的atten
2022-02-06 08:52:47
509
原创 PullNet: Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text 论文笔记
PullNet: Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text2019年，EMNLP，Google， 本文是IR-based的方法来解决KBQA任务，属于是GRAFT-Net工作的延续和改进。Overview本文作者将open-domain问题概括为三大类别：基于文本回答，基于KB回答、两者结合回答。而本文在GRAFT-Net的基础上，提出了一种迭代的信息检索方法，并结合使用KB和
2022-01-28 17:44:20
1036
原创 洛谷P3132 [USACO16JAN]Angry Cows G 题解
洛谷P3132题解【题目描述】奶牛Bessie设计了一个游戏：“愤怒的奶牛”。游戏的原型是：有一些可爆炸的草堆分布在一条数轴的某些坐标上，玩家用弹弓把一头奶牛发射到数轴上。奶牛砸到数轴上的冲击波会引发附近的草堆爆炸，而被引爆的草堆可能会引爆其他草堆。游戏的目标是玩家用一只奶牛炸掉所有的草堆。有N个草堆在数轴的不同位置，坐标为x1,x2,….,xnx_1,x_2,….,x_nx1,x2,….,xn。如果玩家以能量RRR把奶牛发射到坐标xxx，就会引爆半径RRR及以内的的草堆，即坐标范围[x−R,
2022-01-28 00:20:16
1614
原创 《UHop: An Unrestricted-Hop Relation Extraction Framework for Knowledge-Based Question Answering》论文笔记
UHop: An Unrestricted-Hop Relation Extraction Framework for Knowledge-Based Question Answering2019年NAACL上的一篇文章，主题为KBQA中的关系抽取。Overview这篇文章提出的是一个新的关系抽取方法，并不是一个完整的SP-based的KBQA模型。本文依旧旨在处理相对复杂的问题，我们按照“跳数”来区分simple和complex问题，一般来说simple question只需要one-hop rea
2022-01-27 16:20:01
593
原创 《Query Graph Generation for Answering Multi-hop Complex Questions from Knowledge Bases》论文笔记
Query Graph Generation for Answering Multi-hop Complex Questions from Knowledge Bases这是2020年SMU的Jing Jiang教授课题组发表在ACL上的一篇文章，主题为KBQA、Complex Question、Query Graph GenerationOverview作者提到当前的复杂问题主要有两类特点：Questions with Constraints：问题中有一些限制，例如 “Who is the yo
2022-01-25 16:44:26
455
原创 《Knowledge Base Question Answering via Encoding of Complex Query Graphs》论文笔记
Knowledge Base Question Answering via Encoding of Complex Query Graphs这篇文章是上交和阿里于2018年发表在ACL上，主题依然是与query graph相关，属于SP + DL的范畴。Overview作者提到之前的KBQA做法处理的多是简单问题，不能很好地解决复杂问题。对于复杂的问题或者说复杂的query graph，如何进行embedding是一大挑战。最近一段时间，SP + NN的做法在简单的问答上取得了非常好的效果，因此本文也
2022-01-23 11:55:05
2402
原创 CrossAttention KBQA
《An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global Knowledge》论文笔记这篇文章于2017年发表在ACL上，个人认为是在MCCNNs这个模型的基础上所作的增量式的工作，两者结构非常相似。Overview本文的任务依然是给定一个问题，模型根据知识库生成一组答案。这篇文章也是属于IR-based的范畴，根据主题词从知识库中提取出topic grap
2022-01-21 21:52:48
9151
原创 A State-transition Framework to Answer Complex Questions over Knowledge Base 论文笔记
A State-transition Framework to Answer Complex Questions over Knowledge Base这篇是2018年北大发表在EMNLP上的文章，核心侧重于对query graph的构建。之前的方法不能很好的处理复杂问题，比如多跳推理等，因此本文旨在提出一个更好的query graph构建方式，叫做state-transition framework。Complex Question本文在introduction部分对复杂问题带来的挑战进行了总结概括
2022-01-21 21:50:59
909
原创 《Question Answering over Freebase with Multi-Column Convolutional Neural Networks》论文笔记
《Question Answering over Freebase withMulti-Column Convolutional Neural Networks》论文笔记这篇文章于2015年发表在ACL，根据KBQA任务做法的宏观分类，这篇文章被《A Survey on Complex Question Answering overKnowledge Base: Recent Advances and Challenges》这篇综述划分为Information Retrieval的范畴，但是它与传统的
2022-01-19 17:42:19
1921
原创 洛谷P3740题解（待完善）
洛谷P3740题解题目描述Bytetown城市要进行市长竞选，所有的选民可以畅所欲言地对竞选市长的候选人发表言论。为了统一管理，城市委员会为选民准备了一个张贴海报的electoral墙。张贴规则如下：electoral墙是一个长度为N个单位的长方形，每个单位记为一个格子；所有张贴的海报的高度必须与electoral墙的高度一致的；每张海报以“A B”表示，即从第A个格子到第B个格子张贴海报；后贴的海报可以覆盖前面已贴的海报或部分海报。现在请你判断，张贴完所有海报后，在electoral
2022-01-14 21:58:11
181
原创 洛谷P3104题解
洛谷P3104题解Farmer John’s N cows (2 <= N <= 500) have joined the social network “MooBook”.Each cow has one or more friends with whom they interact on MooBook. Just for fun, Farmer John makes a list of the number of friends for each of his cows, but d
2022-01-12 00:46:00
186
原创 洛谷P1031题解
洛谷P1031题解有N堆纸牌，编号分别为1,2,…,N。每堆上有若干张，但纸牌总数必为N的倍数。可以在任一堆上取若干张纸牌，然后移动。移牌规则为：在编号为1堆上取的纸牌，只能移到编号为2的堆上；在编号为NN的堆上取的纸牌，只能移到编号为N-1的堆上；其他堆上取的纸牌，可以移到相邻左边或右边的堆上。现在要求找出一种移动方法，用最少的移动次数使每堆上纸牌数都一样多。例如N=4，4堆纸牌数分别为：①99②88③1717④66移动3次可达到目的：从 ③ 取4张牌放到 ④ （9,8,13,10）-&g
2022-01-12 00:45:24
754
原创 贪心算法总结
Greedy贪心算法是一个非常常见的算法，根据字面意思，贪心就是贪婪，因此在贪心算法中，我们抛弃了大局观，转而去关注每一个局部子问题，对每一个局部子问题去求最优解，最后把所有的局部最优解结合起来作为我们最终的全局解。那么很直观的一个问题就是，局部最优解的结合很多时候并不一定是全局最优解，因此贪心算法是存在局限性的，不能去处理“最大”或者“最小”问题。作为一个AIerAIerAIer，贪心算法与我们的梯度下降算法很像，即有时候我们得到的只是局部最优，但有时候，我们也能得到全局最优或者全局最优解的近似解。贪
2022-01-12 00:44:47
1096
原创 CS224W Lecture6-8笔记
Graph Neural Networklecture 6,7,8详细介绍了图表示学习中的深度学习方法。之前介绍过Node Embedding，但是都是基于一些很“shallow”的特征，GNN可以帮助我们更高效地学习到更好的node、link、graph embedding。课程中所讲到的GNN都是spatial-based，也就是模型的结构是基于结点地空间特征，具体来说就是当前结点地embedding由它的neighbor得来，而spatial-based GNN遵循的一种模式叫做Message +
2022-01-12 00:43:22
258
原创 CS224W Lecture5笔记
Message Passing and Node Classificationlecture 5主要介绍的是一种用于结点分类的Framework: Message Passing。在结点分类中，我们的任务其实是semi-supervised：已知部分结点的label，预测未知结点的label。而Message Passing是一种利用了图的同质性的模型，简言之，就是通过neighbor来预测未知结点，遵循的思想就类似于“近朱者赤近墨者黑”HomophilyMessage Passing框架的前提假设就
2022-01-12 00:41:51
288
原创 CS224W Lecture4笔记
PageRankPageRank是用Link Analysis来计算结点重要性的一种算法，最经典的应用就是网页的重要性排序。我们可以把互联网看作是一张有向图，每个网址都是一个结点，边就是网站中的超链接，如果网站iii中有跳转到网站jjj的链接，那么就连一条从iii到jjj的边。显然，每个网站的重要性是不一样的，比如www.google.com的重要程度显然要比www.nus.edu.sg的重要程度高。“Flow” Model最直接的想法是把边看作投票，根据每个结点的入度排序，认为入度大的结点比较重要。
2022-01-12 00:38:32
352
原创 CS224W Lecture3笔记
Node Embeddinglecture2中介绍的是一些传统的feature engineering，这节课所介绍的是更加高效、task-independent的node embedding，类似于word2vec。lecture中主要介绍了两种比较流行的方法：DeepWalk和Node2VecEncoder-Decoder FrameworkNode Embedding遵循的还是一种Encoder-Decoder的模式。Encoder负责将原来的node映射到embedding space，dec
2022-01-12 00:36:38
376
原创 CS224W Lecture2笔记
Traditional Method for ML in Graphslecture2主要介绍的是传统的图机器学习方法，从三个维度进行阐述：Node level, Link level, Graph level。想要应用机器学习模型，首先需要从图中提取出能够充分表示这张图信息的特征，而本节lecture介绍的就是比较传统的feature engineering。Node LevelNode level 的任务比较典型的是对节点进行分类，如下图所示那么假如我们想使用比如SVM来做节点分类，那么我们就
2022-01-12 00:34:58
359
原创 DPRQA论文笔记
Dense Passage Retrieval for Open-Domain Question Answering这篇文章依然是关于开放问答领域，由Facebook发表，重点研究passage retrieval模块。Overviewopen-domain question answering 通常有两大模块： Passage Retrieval 和 Reader，前者是针对问题在数据库中寻找与该问题有关的文章，后者是对文章和问题进行encode并预测答案。本文重点研究前者，即训练出更好的Passa
2022-01-12 00:28:49
458
原创 DrQA论文笔记
Reading Wikipedia to Answer Open-Domain Questions本文是一篇很经典的关于开放领域问答的文章，与之前的几篇文章不同，开放式领域的问答系统是基于一种Retriever-Reader的架构，Retriever通过大规模机器阅读理解提取相关度高的文章，再用Reader进行特征提取。Overview本文的开放式QA系统有两个部分组成：Document Retriever：作者使用Wikipedia作为资料库，针对不同的问题进行相关文章段落的提取，提取出文章后再
2022-01-12 00:27:30
434
原创 洛谷P6278题解
洛谷P6278题解题目描述Farmer John 由于对整理他难以整平的头发感到疲惫，于是决定去理发。他有一排 NNN缕头发，第 ii 缕头发初始时长度为 AiA_iAi微米（0≤Ai≤N）。（0\le A_i\le N）。（0≤Ai≤N）。理想情况下，他想要他的头发在长度上单调递增，所以他定义他的头发的“不良度”为逆序对的数量：满足 i<ji < ji<j及 Ai>AjA_i > A_jAi>Aj的二元对 (i,j)(i,j)(i,j)。对于每一个$ j
2022-01-11 13:44:45
278
原创 洛谷P6492题解
洛谷P6492题解题目描述给定一个长度为 n 的字符序列 a，初始时序列中全部都是字符 L。有 q 次修改，每次给定一个 x，若*axa_xax* 为 L，则将 axa_xax 修改成 R，否则将 axa_xax 修改成 L。对于一个只含字符 L，R 的字符串 s，若其中不存在连续的 L 和 R，则称 s 满足要求。每次修改后，请输出当前序列 a 中最长的满足要求的连续子串的长度。这道题是一道求区间最长非连续01串的问题，当然会了这道题以后最长连续子串自然也就会了。这道题涉及到的操作只
2022-01-11 10:10:07
380
原创 SLQA论文笔记
Multi-Granularity Hierarchical Attention Fusion Networks for Reading Comprehension and Question Answering 论文笔记这是阿里2018年发表在ACL上的一篇文章，创新性的使用了层级attention结构，并加入了fusion模块，在SQuAD数据集上取得了优异的表现。Overview作者的motivation来源于人类对阅读理解题目的处理：先浏览一遍文章和问题，然后把问题和文章进行联系，接着把答案的
2022-01-10 22:30:14
568
原创 Masque论文笔记
Multi-Style Generative Reading Comprehension这是2019年发表在ACL的一篇文章，与前面所读的几篇RC、QA文章不同，这篇文章关注的是生成式的RC模型，并且引入多风格的答案生成。Overview以往的QA模型通常是抽取式的，即从passage中抽取出一段区间作为预测答案（span prediction），因此这篇文章希望设计出一种生成式的模型，并且希望通过单个模型生成不同风格的答案。这里的不同风格我的理解是传统QA基于span抽取的和语言模型进行生成的这两种
2022-01-10 22:28:19
226
原创 BiDAF论文笔记
BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION 论文笔记BiDAF是在2017年发表在ICLR上的一篇文章，从SQuAD leaderboard 上来看，在各种预训练模型问世之前，BiDAF效果是非常好的，是当时的SOTAOverview简要概括，BiDAF主要在两个部分做了工作，一个是embedding的部分，另一个是attention的部分。在embedding部分，作者从两个维度对context和query进行embedding：
2022-01-10 22:21:07
641
原创 HAN论文笔记
Hierarchical Attention Network《Hierarchical Attention Network》一文提出了一种层次化的注意力网络。在Seq2Seq里的注意力机制，我们其实做的是word-level的attention，而这篇文章的亮点在于它提出双层attention，即word-level和token-level。Model Structure整个HAN其实主要包含三大部分：Word EncoderWord-level AttentionSentence-level
2022-01-10 22:18:33
600
原创 DPCNN论文笔记
DPCNN论文笔记《Deep Pyramid Convolution Neural Network》是对TextCNN网络的加深，DPCNN这篇文章挺难读的，内容量很大，我们仔细来看一下OverviewDPCNN这篇文章提出了一种效率比较高、基于单词的深度卷积神经网络，主要应用于文本分类领域。在Abstract和Introduction部分，作者提到了三条我认为很有价值的信息：作者没有用基于字符的CNN，因为他们发现即便是浅层的TextCNN效果也要比CharCNN好，并且计算的复杂度要低很多通
2022-01-10 22:17:20
589
原创 fasttext论文笔记
fastTextFasttext是一个专门用于文本分类和文本表示的模型，由于它模型结构非常的简单，训练效率很高，分类效果也非常好，因此是一个非常热门的模型。Background这是一篇2017年的文章，所以作者首先提到了当时神经网络已经在NLP领域流行了，但是神经网络训练起来太慢，因此很难使用庞大的数据集。接着作者提到文本分类中的一个非常实用的baseline就是线性分类器。举例来说，用Bag-of-Words + LR / SVM 训练一个线性模型往往已经能得到一个不错的效果，同时训练速度是非常快的
2022-01-10 22:04:08
872
原创 CharCNN论文笔记
CharCNN之前看了TextCNN，也就是基于词级别的CNN，卷积的时候是对多个词向量（window size）进行卷积。Character-level Convolutional Networks for TextClassification 这篇文章从一个新的视角来看待文本数据，那就是字符（character），本文通过实现字符级别的卷积神经网络来做文本分类任务，与传统文本分类方法和深度神经网络如CNN、RNN相比，在多个数据集上取得了不错的效果。BackgroundCharCNN主要针对的还
2022-01-10 22:02:42
535
原创 BiLSTM-Attention论文笔记
BiLSTM-Attention《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》论文笔记Overview这篇文章提出了一种特征提取和文本表示的模型。作者提到在文本分类领域，常用的监督学习需要大量的人工标注样本，并且常常需要构建如POS-tagging、NER、dependency parsing等更高级的特征，耗时耗力。为了解决这样的问题，作者提出了这种Attentio
2022-01-10 22:01:03
3416
原创 match-LSTM论文笔记
Match-LSTM with Ans-Ptr论文笔记《MACHINE COMPREHENSION USING MATCH-LSTM AND ANSWER POINTER》论文笔记Overview本文是在SQuAD v1.1数据集出世后第一个采用end-to-end的深度学习方法的paper。模型的主要结构是对已有的两个模型的结合：match-LSTM（Jiang&Wang, 2016）和Pointer Net（Vinyals et al., 2015）。相较于人工feature engine
2022-01-09 17:54:17
408
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人