ryanloucc的博客

关键词span representation来源arXiv 2016.10.31问题之前利用 match-LSTM 对 passage 打标签：要么是 span start，要么是 span end，要么是 end。这种方法对子结构并没有做独立性假设，所以在 greedy training 和 decoding 时容易产生搜索错误。而直接枚举所有 span 可能，这会导致难以训练。为了克服这些问题，

关键词hierarchical recurrent neural network来源arXiv 2016.06.02问题已有的 end2end 网络来做对话生成任务，存在着不能够把对话上下文考虑进去生成有意义的相应，这也就是说模型没有学到有用的高阶抽象表示。同时对于长距离的依赖也把我的不好，所以针对这些问题，本文提出了主动构造句子的高阶表示，利用 HRED 来做这一任务。文章思路本文模型中一个非常重

关键词VHRED来源arXiv 2016.05.19问题文中认为对话都会包含两个层次的结构，一个是 utterance，由语言的局部统计信息来表征其含义，另外一个是不同方面的不确定性，比如 topic、speaker goals、speaker style。本文认为，RNNLM、HRED 这样的语言模型不能生成高质量的原因是在于它们在生成过程中施加了一个强限制：只对源端的变化建模（作为输出分布的条件

关键词reinforcement learing，seq2seq来源EMNLP 2016.06.05问题目前的 seq2seq 模型做对话生成存在两个问题：当前的 seq2seq 模型是这么去训练的，在给定对话上下文后，用最大似然估计作为目标函数，预测下一轮对话。但是 MLE 训练出来的模型并不能够产生有趣、多样、有信息量的反馈。另一方面基于 MLE 的 seq2seq 模型不能够排除重复回复，

关键词real natural language traning data, nerual model来源arXiv 2015.06.10问题针对阅读理解缺乏大规模训练数据集，构建了相应的数据集。同时尝试利用神经网络模型解决机器阅读理解问题。文章思路文章中提出了三种神经网络模型，分别如下：Deep LSTM 其实就是用一个两层 LSTM 来 encode query||document 或者do

构造 chatbot 的难点： 1. 计算机需要理解你所问的内容 2. 计算机需要对你的问题生成有意义的序列，这需要领域知识、对话上下文、世界知识背景知识一开始利用 SMT 来生成响应，利用 phrase-base MT 抽取高频模式：后来用神经网络 encoder-decoder 架构来做：Mutual Information for Response Generation一般的 seq2se

关键词来源arXiv 2016.03.04问题文章思路资源论文地址：https://arxiv.org/abs/1603.01547v1.pdf相关工作简评

关键词Memory, reasoning来源arXiv 2016.10.20问题在此之前，所有 multi-turn 模型都为多跳推断预先设定了固定的跳数。但是并不是所有的 document-query 对都需要同样的推理步数，有的只需要词或者句子级别的匹配，有的需要复杂的语义理解和深度推理。基于此，本文提出了动态调整跳数的模型。文章思路Memory Initialization首先通过 Bi-LS

关键词dynamic chunk, ranking来源arXiv 2016.10.31问题当前的 RC 模型都是生成单个实体或者单个词，不能够根据问题动态生成答案。基于此，本文提出了 end2end 的 chunk 抽取神经网络。文章思路Dynamic Chunk Reader 这一模型分成四步：encode layer 分别使用 bi-GRU 对 passage 和 question 进行编码，

关键词Examination, Analysis来源arXiv 2016.06.09问题针对 CNN/Daily Mail 语料中不能使用外部知识，可能存在的指代消解错误等问题，探究一下几个问题：语料中由于处理错误所产生的噪音有多少？神经模型究竟学到了什么？相比于传统分类器，模型提高了哪些方面？文章思路本文的神经网络基于 Attentive Reader，但是又有所改进，见下图。跟 Atten

关键词reading comprehension, gated attention, GRU来源arXiv 2016.06.05问题文章思路这篇论文提出了如下图的 Gated-Attention reader。每个标有Bi-GRU 字样的方块表示双向 GRU，从图中可以看出，一共运用了 K 层网络。 问题表示 每一层上，query 都是用前向和后向的 GRU 隐层状态连接在一起来表示的。图中绿

关键词Dynamic Entity Representation, Max-pooling来源2016.01.06 (published atNAACL-HLT 2016)问题之前的模型都是将实体表示成一个静态的向量，这样就没有利用上下文信息。本文基于这样的假设：如果阅读器不能使用 world knowledge，那么只能通过实体的上下文动态理解它的意思。文章思路这一模型可以分解成这样：p(e|D,

关键词Memory Networks，CBT dataset来源arXiv 2015.11.97 (published at ICLR 2016)问题探索统计模型如何利用更广的上下文来做预测文章思路Memories 和 Queries 表示 考虑三种形式：Lexical Memory 在 document 中每个词的 one-hot representation 代表一个 memory，并且将时间

关键词End2End, Memory Networks, Multiple hops来源arXiv 2015.03.31 (NIPS 2015)问题当前 AI 研究面临两大问题：如何在回答问题时实现多个计算步骤如何描述序列数据的长距离依赖性本文尝试从 Memory Networks 入手，解决这两个问题。文章思路模型介绍 在单层模型中模型将 document 中的每一个 word 保存为一个

关键词bi-directional attention来源arXiv 2016.11.05问题利用 multi-stage 信息对文章进行编码，同时尝试两个方向上的 attention 来提高 RC 性能。文章思路BiDAF 文中分为六步Character Embedding Layer利用 character level CNN 将每个词映射到一个高维向量空间Word Embedding La

关键词end2end, task-oriented dialogue system来源arXiv 2016.04.15问题当前构建一个诸如宾馆预订或技术支持服务的 task-oriented 的对话系统很难，主要是因为难以获取训练数据。现有两种方式解决问题：将这个问题看做是 partially observable Markov Decision Process (POMDP)，利用强化学习在线与