![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文阅读
文章平均质量分 92
桐原因
这个作者很懒,什么都没留下…
展开
-
《Parallel Instance Query Network for Named Entity Recognition》论文阅读
来源:ACL 2022论文认为存在的问题:当前的NER任务被转换为MRC任务,但是存在以下问题:每次一个问题只能抽取到一种类型的实体,效率不够高不同实体之间抽取是分割,没有考虑到实体之间的依赖性问题构造依赖于外部知识库,当存在上百个实体,MRC模式很难应用于因此,提出了PIQN(Parallel Instance Query Network)模型,设定全局和可学习的实例查询语句,同时可并行从句子抽取各类实体。方法对比:这里的 Instance Query 并不是真实的句子文本,而是q.原创 2022-05-26 23:43:43 · 1031 阅读 · 1 评论 -
《Multi-hop Reading Comprehension through Question Decomposition and Rescoring》论文阅读
Multi-hop Reading Comprehension through Question Decomposition and Rescoring作者:Sewon Min、Victor Zhong机构:University of Washington、AI2期刊:ACL2019简介多跳阅读理解需要根据问题聚合多个段落的信息回答问题,因此作者提出了将复杂多跳问题分解为多个简单问题,利用400条语料训练可直接使用单跳阅读理解模型进行答案抽取。同时引入global rescoring appr.原创 2022-05-15 23:15:54 · 319 阅读 · 0 评论 -
《DuReaderretrieval: A Large-scale Chinese Benchmark for Passage Retrieval fromWeb Search Engine》论文阅读
DuReaderretrieval: A Large-scale Chinese Benchmark for PassageRetrieval fromWeb Search Engine作者:Yifu Qiu机构:百度简介当前现存段落检索数据集存在以下两个问题:False Negative,错误标注semantically similar questions, 训练集、验证集中存在相似问题,导致数据泄露问题基于此,提出了DuReader Retrieval 数据集,弥补以上两个问题,.原创 2022-04-17 16:25:37 · 1392 阅读 · 0 评论 -
《A Unified MRC Framework for Named Entity Recognition》ACL2020论文阅读
机构为浙江大学、香侬科技。存在的问题:论文认为目前的的NER方法能够很高的解决flat NER任务,但是对于nested NER任务就显得不那么power。一般方法是分开做。解决办法:论文提出一种统一框架能够同时处理flat和nested两种类型问题。不将实体抽取看作NER问题,而是看作MRC。上图为flat和nested实体的实例举例:抽取PER(PERSON)实体,“[Washington] was born into slavery on the farm of Jam原创 2021-01-20 10:11:21 · 422 阅读 · 0 评论 -
将预训练模型应用于长文本阅读理解
摘要:基于transformers预训练模型(如BERT、RoBERTa)的表现突出,预训练模型基本作为模型的baseline,但是由于self-attention的矩阵计算时间复杂度为,导致输入长度限制为512个token。面对长文本时,效果不如短文本表现得那么好。因此,本文从两个方面来提出解决方法。我们小组的主题为长文本阅读理解,分别阅读了四篇papers。这些文章从不同方法提出了关于长文本阅读理解的解决方法。基于预训练模型Bert目前解决的方法如下:1.截断法,2.Pooling法,3.补充法原创 2021-01-04 15:18:16 · 4673 阅读 · 2 评论 -
《Natural Questions: a Benchmark for Question Answering Research》TACL2019论文阅读
目录提出数据集的目的:机构为:Google这是一篇关于如何构建数据集的论文。这是去年的一篇论文,但在数据集方面算是最新的标杆了。提出数据集的目的:论文认为目前在机器翻译、语音识别、图像识别有很大的进步,一方面是由于深度学习的表现超过之前的方法,另一方面是有质量很高的训练数据。但是目前有关开放域问答获取问题的方法和问题的来源、用于注释和收集答案的方法、用于度量和确保注释质量的方法以及用于评估的度量。都是具有一定局限性。因此提出了NQ数据集。目标:1.在QA问题上提供一个原创 2020-12-10 15:51:46 · 2352 阅读 · 1 评论 -
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension 论文阅读
目录论文认为存在的问题:数据处理:模型框架:多粒度文档建模思想:补充:有关self-attention的一些数学推导:数据的输入Graph Encoder 讲解实验结果:下一步工作:来源:ACL2020机构:哈尔滨工业大学论文认为存在的问题:NQ数据集要求模型得到两个粒度的答案,分别是涵盖推断答案所需的所有信息的长答案(Long Answer),以及使用一个或者多个实体回答问题的短答案(Short Answer)。对于长答案,问答系统需要在给定的长答案候.原创 2020-12-02 13:45:26 · 349 阅读 · 0 评论 -
《Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension》ACL2020论文阅读
目录论文认为的问题:主要解决办法:BERT的缺陷:模型架构:基于策略的强化学习(policy-based RL):对目标函数求导模型的loss:测试阶段:结果:补充:机构为:伊利诺伊大学厄巴纳-香槟分校、微软AI、腾讯AI。论文认为的问题:认为当前输入文本的长度是固定的(bert最大为512),而且预测答案是每段文本独立进行预测,获取的文本信息只能局限于本段。故提出了Recurrent Chunking Mechanisms。主要解决办法:提出通过原创 2020-11-29 10:15:05 · 689 阅读 · 0 评论 -
《A Frame-based Sentence Representation for Machine Reading Comprehension》ACL2020论文阅读
目录论文认为存在的问题:主要解决的问题方法:了解一下FrameNet:论文举例:数学符号声明:模型:1.Lexical Units Aggregation Model(LUA)2.Lexical Units Attention Model(TLUA)3.Frame Relation Attention Model(FRA)4.FSRFSR模型:数据集:最后结果:举例:机构为:山西大学。论文认为存在的问题:1.当前MCR获取到的信息只局限于句原创 2020-11-29 09:36:26 · 619 阅读 · 0 评论