paper解读
文章平均质量分 86
Flying_sfeng
这个作者很懒,什么都没留下…
展开
-
REAL2-融合检索和生成的端到端数学应用题自动解题
本篇文章主要讲解本人在今年 NIPS2021 Workshop MATHAI4ED发表的一篇关于应用题自动解题的论文(打开超链接可以看到REAL2模型的Paper,Poster, Video等信息)。 同时本篇文章也是REAL模型的改进,因此阅读本篇文章之前,建议先阅读REAL模型:REAL4MWP-基于记忆增强的应用题自动解题方法。 论文题目为:REAL2: An End-to-end Memory-augmented Solverfor Math Word Problems 代码已开源原创 2022-01-10 19:54:44 · 853 阅读 · 2 评论 -
REAL4MWP-基于记忆增强的应用题自动解题方法
本篇文章主要讲解本人在今年EMNLP2021发表的一篇关于应用题自动解题的论文。论文题目为:Recall and Learn: A Memory-augmented Solver for Math Word Problems代码已开源,欢迎star:REAL4MWP另外,本人还搜集了近五年来所有关于应用题解题的论文,供研究该方向的学者参考:Math-Word-Problems-PaperList1. 背景介绍 数学应用题自动解题任务是指通过给定的应用题题目,设定特定的技术方案得到对应的答案。直接原创 2021-12-23 19:29:06 · 1555 阅读 · 1 评论 -
RAKE-无监督英文关键词提取算法
没想到吧,在深度学习大行其道的当今,我突然写了一篇上古时代的文章(其实也就2010年,奈何知识更新真快…)话不多说,一起来看一下RAKE算法RAKERAKE全称为Rapid Automatic Keyword Extraction,突出两个亮点:1. 快速,线上部署非常友好;2. 无监督,也即不需要大量有标签数据,0成本~提取候选词首先,使用停用词进行候选关键词的提取和切分,这里的停用词表非常关键,决定你候选词组切分的效果,候选词组切分不好,最终提取到的效果也会受影响。候选词提取方法其实很简单:原创 2021-11-16 21:11:37 · 1984 阅读 · 0 评论 -
文本生成系列(三)beam search的一些改进
引言我们知道,在文本生成领域,所用到的解码方法有两种:greedy search和beam search。greedy search相当于在每一步的生成过程中,都选择概率最大的token作为候选token,而beam search则是每一步都选择topk个token作为候选token,然后使用这k个token对应的句子进行下一个词的预测,总共有k*V个结果,再取topk个token,以此迭代直到出现结束符。beam search相当于在greedy search的基础上进行了优化,扩大了搜索空间,但原创 2021-05-10 20:58:51 · 1534 阅读 · 0 评论 -
文本生成系列(二)Pointer Generator Network
最近项目中要用到copy机制,尝试了《文本生成系列(一)seq2seq中的copy机制》中的方法,发现处理OOV字符这一块处理起来不是很方便(可以实现),相对来说,Pointer Generator Network更简洁一些。Pointer Generator Network的动机有两个:1. 处理OOV问题;2. 解决生成模型重复生成的问题。1. Sequence-to-sequence attentional model正常的soft attention对应着公式看更香:2. Pointe原创 2021-03-30 20:42:21 · 801 阅读 · 0 评论 -
文本生成系列(一)seq2seq中的copy机制
本文记录seq2seq中一种广泛应用的方法:copy机制。Incorporating Copying Mechanism in Sequence-to-Sequence Learningpaper code上图左边为seq2seq模型中的encode-decode框架,右边为左边小框框的放大图,也是copynet相对传统网络的改进。所谓copynet,就是模型输入中的字符可以被复制到解码输出中,这可以一定程度上缓解OOV问题,另一方面也可以强化输入输出之间的关联,这在复述、对话等任务中是有很大帮助原创 2020-12-20 18:56:04 · 2504 阅读 · 3 评论 -
【paper reading】基于重编辑机制的文本生成算法
今天分享一篇基于重编辑机制的文本生成论文paper:Paper Abstract Writing through Editing Mechanism(发表于ACL2018)code:源码概述:这篇论文解决的问题是使用paper的title来生成abstract。论文使用了一种重编辑机制(参考人类写论文的过程:先写一个草稿出来,再不断的修改),是一个信息量由少到多的过程。本次分享希望能让你:了解重编辑机制的工作原理;学会编写主体框架。1. 模型总体框架1.1 encode-decode框架原创 2020-05-26 20:47:56 · 566 阅读 · 0 评论 -
paper解读:Bi-Directional Attention Flow For Machine Comprehension
基于双向注意力的阅读理解(ICLR2017,引用800多,入门阅读理解可以看这篇)paper: https://arxiv.org/abs/1611.01603code: https://github.com/allenai/bi-att-flow模型框架模型主要框架如下图所示:包括六个部分:Character Embedding Layer:使用character-level CN...原创 2020-05-05 18:28:57 · 444 阅读 · 0 评论 -
paper解读:Decomposable Neural Paraphrase Generation
今天分享的paper是刘群老师发表在ACL2019的一篇文章,同样是一篇介绍复述生成的论文,叫Decomposable Neural Paraphrase Generation(DNPG,网络可分解的复述生成)。论文的动机:作者发现一个句子的复述通常有多个不同粒度的模式组成,从单词粒度到短语粒度到句子粒度等,如下图:蓝色部分为句子粒度,绿色部分为短语粒度。在这篇论文中,作者取了这两个粒...原创 2019-09-19 21:29:51 · 1490 阅读 · 3 评论 -
paper解读:Dictionary-Guided Editing Networks for Paraphrase Generation
突发奇想,突然想把自己阅读后的paper整理下来,整理自己思路的同时也可以方便有需要的读者阅读,感觉这应该是个好习惯hhh…今天要讲解的是谷歌在17年发表的关于复述生成的一篇论文:Dictionary-Guided Editing Networks for Paraphrase Generation什么是复述生成呢?简单来说就是一个句子经过复述后,跟原来的句子在表达形式上有所区别,但是表达的...原创 2019-09-10 21:17:57 · 696 阅读 · 0 评论