2016年10月_ryanloucc

原创 Dynamic Entity Representation with Max-pooling Improves Machine Reading

关键词Dynamic Entity Representation, Max-pooling来源2016.01.06 (published atNAACL-HLT 2016)问题之前的模型都是将实体表示成一个静态的向量，这样就没有利用上下文信息。本文基于这样的假设：如果阅读器不能使用 world knowledge，那么只能通过实体的上下文动态理解它的意思。文章思路这一模型可以分解成这样：p(e|D,

2016-10-15 16:39:50 564

原创 Head First Design Patterns 阅读笔记之八: the Template Method Pattern

这一模式的正式定义为： The Template Method Pattern defines the skeleton of an algorithm in a method, deferring some steps to subclasses. Template Method lets subclasses redefine certain steps of an algorithm wi

2016-10-13 15:57:41 605

原创 A Thorough Examination of the CNN/Daily Mail Reading Comprehension Task

关键词Examination, Analysis来源arXiv 2016.06.09问题针对 CNN/Daily Mail 语料中不能使用外部知识，可能存在的指代消解错误等问题，探究一下几个问题：语料中由于处理错误所产生的噪音有多少？神经模型究竟学到了什么？相比于传统分类器，模型提高了哪些方面？文章思路本文的神经网络基于 Attentive Reader，但是又有所改进，见下图。跟 Atten

2016-10-13 09:56:29 1882

原创 End-To-End Memory Networks

关键词End2End, Memory Networks, Multiple hops来源arXiv 2015.03.31 (NIPS 2015)问题当前 AI 研究面临两大问题：如何在回答问题时实现多个计算步骤如何描述序列数据的长距离依赖性本文尝试从 Memory Networks 入手，解决这两个问题。文章思路模型介绍在单层模型中模型将 document 中的每一个 word 保存为一个

2016-10-12 10:22:46 3007

原创 THE GOLDILOCKS PRINCIPLE: READING CHILDREN’S BOOKS WITH EXPLICIT MEMORY REPRESENTATIONS

关键词Memory Networks，CBT dataset来源arXiv 2015.11.97 (published at ICLR 2016)问题探索统计模型如何利用更广的上下文来做预测文章思路Memories 和 Queries 表示考虑三种形式： Lexical Memory 在 document 中每个词的 one-hot representation 代表一个 memory，并且将时间

2016-10-10 08:55:15 944 1

原创 Head First Design Patterns 阅读笔记之七: Adapter and Facade Pattern

Adapter Pattern下面是一个完整的适配器模式实例public interface Duck { public void quack(); public void fly(); }public class MallardDuck implements Duck { public void quack() { System.out.

2016-10-09 16:56:02 508

原创 Text Understanding with the Attention Sum Reader Network

关键词来源arXiv 2016.03.04问题文章思路资源论文地址：https://arxiv.org/abs/1603.01547v1.pdf相关工作简评

2016-10-09 09:08:47 971

原创 Teaching Machines to Read and Comprehend

关键词real natural language traning data, nerual model来源arXiv 2015.06.10问题针对阅读理解缺乏大规模训练数据集，构建了相应的数据集。同时尝试利用神经网络模型解决机器阅读理解问题。文章思路文章中提出了三种神经网络模型，分别如下： Deep LSTM 其实就是用一个两层 LSTM 来 encode query||document 或者do

2016-10-09 08:13:24 2658

ryanloucc的博客