Seq2Seq
文章平均质量分 90
彭伟_02
Ph.D NLP in AI
展开
-
【二】情感对话 Control Globally,Understand Locally: A Global-to-Local Hierarchical Graph Network for ESConv
今天给大家分享一篇在IJCAI 2022的关于情感对话的论文。该论文由中科院信工所彭伟、胡玥老师团队发表,主要思想是从认知的角度来挖掘用户隐式表达的意图信息,以及建模用户的意图、情感问题和对话历史之间的关系。原创 2022-11-07 10:50:11 · 771 阅读 · 0 评论 -
【一】情感对话 Towards Emotional Support Dialog Systems 论文阅读
今天给大家介绍一下Towards Emotional Support Dialog Systems这篇由黄老师团队发表在2021 ACL的数据集。原创 2022-11-04 15:32:46 · 1074 阅读 · 0 评论 -
Glancing Transformer for Non-Autoregressive Neural Machine Translation
Glancing Transformer for Non-Autoregressive Neural Machine Translation 动机贡献做法实验动机NAT’s conditional independence assumption prevents learning word interdependency in the target sentence. (解决内部依赖)Previous methods require multiple passes of decoding,原创 2021-08-13 14:34:11 · 530 阅读 · 0 评论 -
论文笔记-Co-GAT: A Co-Interactive Graph Attention Network for Joint Dialog Act Recognition and Sentimen
Co-GAT: A Co-Interactive Graph Attention Network for Joint Dialog Act Recognition and Sentiment Classification动机where dialog act and sentiment can indicate the explicit and the implicit intentions separately. SC can detect the sentiments in utterances原创 2021-03-09 13:20:10 · 2164 阅读 · 9 评论 -
基于pytorch的transformer代码实现(包含Batch Normalization,Layer normalization,Mask等讲述)
基于pytorch的transformer代码实现2017年谷歌再nips上发表的《Attention Is All You Need》,完全基于Attention机制,解决RNN和CNN同时存在的问题,又将两者的优点结合。首先会介绍一下Transformer的由来以及结构,然后再介绍具体的实现代码,结合机器翻译实现。TransformerMotivationRNN的递归无法并行,长距离...原创 2020-03-09 17:26:37 · 10095 阅读 · 5 评论 -
Simple and Effective Curriculum Pointer-Generator Networks for Reading Comprehension阅读笔记
《Simple and Effective Curriculum Pointer-Generator Networks for Reading Comprehension over Long Narratives》这篇文章是发表在2019年ACL上的,主要是针对narrativeQA数据集得到了SOTA效果。数据集介绍可见分以下四部分介绍:MotivationModelExperime...原创 2019-08-01 21:40:15 · 702 阅读 · 0 评论 -
S-Net阅读理解《S-Net: From Answer Extraction to Answer Synthesis for Machine Reading Comprehension》
《S-Net: From Answer Extraction to Answer Synthesis for Machine Reading Comprehension》这篇文章是发表在2018年AAAI上的,应该算是比较早的生成式的模型。在微软发布的MS MARCO数据集上得到了SOTA效果。分以下五部分介绍:DatasetMotivationModelExperimentDis...原创 2019-03-29 16:17:36 · 1715 阅读 · 0 评论 -
《MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension》阅读理解
《MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension》论文阅读笔记这篇文章是浙大在2017年提出的,在TriviaQA dataset上得到了SOTA,在SQuAD上得到了有竞争力的结果。分以下四部分介绍:MotivationModelExperimentDiscussion1、M...原创 2019-03-12 20:39:37 · 948 阅读 · 0 评论 -
DCN-Net《DYNAMIC COATTENTION NETWORKS FOR QUESTION ANSWERING》阅读理解论文阅读笔记
《DYNAMIC COATTENTION NETWORKS FOR QUESTION ANSWERING阅读理解论文阅读笔记》这篇文章发表在ICLR2017上,在两个经典模型Match LSTM和Bi-DAF之间。通过四个方面来介绍这篇论文,MotivationModelExperimentDiscussionQuestion1、MotivationHowever, due...原创 2019-03-04 10:30:10 · 1610 阅读 · 2 评论 -
阅读理解BI-DAF《BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION》笔记
《BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION》Introduction这篇论文也是比较经典的一篇,时间相对早期,发在2017ICLR。和另一篇论文《Machine Comprehension Using Match-LSTM and Answer Pointer》同期发表在该期刊上。BiDAF用了层级的结构来表示不同粒度的表...原创 2019-02-25 08:23:37 · 1706 阅读 · 2 评论 -
强化学习《A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION》论文阅读笔记
《A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION》引言最近接触到了一个新的概念policy gradient。在强化学习当中,基本思想是根据当前的状态,计算采取每个动作的价值,然后根据价值去贪心选择动作。如果省略中间步骤,直接根据状态,输出动作,也就是强化学习当中另外一种重要的方法。具体的大家可以参考这一篇博客这一篇文章,主要是在a...原创 2019-02-23 19:05:12 · 1421 阅读 · 0 评论 -
机器翻译Seq2Seq(Encoder-Decoder)+Attention模型代码实现
1、Encoder-Decoder在网上大家能够找到很多关于,sequence to sequence模型。简单的来说它就是一个编码器和解码器,用循环神经网络RNN去实现。在编码端,用RNN对句子进行中间语义表示,得到c后,根据c的表示去进行解码。在机器翻译当中,就是将源端的语言,进行中间表示,然后再解码成目标端的语言。但是编码端,通常是将源语言编码成一个固定长度的向量。这种做法,在改善效...原创 2019-02-12 11:06:50 · 3740 阅读 · 0 评论 -
指针生成网络 Pointer-Generator《Get To The Point: Summarization with Pointer-Generator Networks》论文阅读笔记
《Get To The Point: Summarization with Pointer-Generator Networks》Introduction上篇论文《(Copynet)Incorporating Copying Mechanism in Sequence-to-Sequence Learning》模型与此比较相似,主要用在摘要和对话系统,不过其网络结构比较复杂,混合概率是两者的和...原创 2019-02-17 17:46:00 · 5057 阅读 · 26 评论 -
(Copynet)Incorporating Copying Mechanism in Sequence-to-Sequence Learning论文笔记
《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》引言最近看了一下CopyNet,感觉此网络也是比较玄学,它能够自动的,决定下一步的预测是生成模式还是复制模式。生成模式就是我们常说的注意力机制,复制模式就是这篇文章的一个创新点。他的想法是来源于,人类在阅读文章的时候,或者去做一些摘要的时候,除了自己会生成一些概...原创 2019-02-08 17:37:22 · 2130 阅读 · 0 评论