- 博客(35)
- 资源 (22)
- 收藏
- 关注
RSS订阅转载 经典的把一篇英文文章转成word2id形式的dict的一段python程序
import collectionsimport tensorflow as tfdef _read_words(filename): with tf.gfile.GFile(filename, "r") as f: return f.read().decode("utf-8").replace("\n", "<eos>").split()def _buil...
2018-06-21 09:32:31
788
转载 统计SQuAD的词汇得到word2id 并把词都转成id的python代码
import jsonimport collectionsjson_file = open("train-v1.1.json")data = json.load(json_file)all_words = []for paragraphs_title in data["data"]: all_words.extend(paragraphs_title["title"].sp...
2018-06-21 09:31:09
1730
转载 解读阿里iDST SLQA 技术-机器阅读理解
机器阅读理解的评测维度分为 EM（Exact Match，精准匹配分数）和 F1（精确率和召回率的平均，模糊匹配分数）。下图可见，阿里巴巴在 F1 分数上略胜一筹，微软的 EM 分数优于阿里巴巴。无论如何，我们可以欣喜地看到包括阿里，微软亚洲研究院，腾讯，哈工大和讯飞等中国的研究人员走在了世界的前列。 抛...
2018-06-20 05:53:56
1686
转载 Word Embedding的通俗解释
Word Embedding是NLP中最频繁出现的词了，关于word embedding，其实很简单。word embedding的意思是：给出一个文档，文档就是一个单词序列比如 “A B A C B F G”, 希望对文档中每个不同的单词都得到一个对应的向量(往往是低维向量)表示。比如，对于这样的“A B A C B F G”的一个序列，也许我们最后能得到：A对应...
2018-06-14 12:11:35
2487
转载 [NLP论文阅读]Learned in Translation: Contextualized Word Vectors
论文原文：Learned in Translation: Contextualized Word Vectors题外话前段时间一直在写自己的论文，目前论文基本成型，又要转入新一阶段的论文阅读了。由于对GAN等技术不是很了解，所以在挑选论文的时候有选择的避开了和这些技术有关的内容。由于之前一直在学习LSTM，所以就挑选了这篇和LSTM有关的论文进行阅读学习。后期希望能跟上目前NLP技术的脚步，了解一...
2018-06-14 12:06:29
1362
转载 阅读《Learning to Ask: Neural Question Generation for Reading Comprehension 》
阅读《Learning to Ask: Neural Question Generation for Reading Comprehension 》@(NLP)[自然语言生成|LSTM|QA|Attention]Abstract作者为解决机器生成问题，提出了一种基于注意力的序列学习模型并研究了句子级别和段落信息编码之间的影响。与以前的工作不同，他们的模型不依赖手工生成的规则或者复杂的NLP管道（不...
2018-06-12 06:52:15
616
转载 动态记忆网络
原文 Ask Me Anything: Dynamic Memory Networks for Natural Language Processing简介Question answering 是自然语言处理领域的一个复杂问题. 它需要对文本的理解力和推理能力. 大部分 NLP 问题都可以转化为一个 QA 问题. DMN 网络可以用来处理 QA 问题. DMN 的输入包含事实输入，问题输入，经过内部...
2018-06-12 06:52:06
1538
转载 基于Bidirectional AttentionFlow的机器阅读理解实践【demo】【code】
机器阅读是实现机器认知智能的重要技术之一。机器阅读任务主要有两大类：完形填空和阅读理解。（1）完型填空类型的问答，简单来说就是一个匹配问题。问题的求解思路基本是： 1） 获取文档中词的表示 2） 获取问题的表示 3） 计算文档中词和问题的匹配得分，选出最优（2）文本段类型的问答，与完型填空类型的问答，在思想上非常类似，主要区别在于：完形填空的目标是文档中的一个...
2018-06-12 06:51:55
1452
转载 Reading Note: Gated Self-Matching Networks for Reading Comprehension and Question Answering
AbstractAuthors present the gated self-matching networks for reading comprehension style question answering, which aims to answer questions from a given passage.Firstly, math the question and passage ...
2018-06-11 21:17:19
412
转载 End-to-End Answer Chunk Extraction and Ranking for Reading Comprehension
来源arXiv 2016.10.31问题当前的 RC 模型都是生成单个实体或者单个词，不能够根据问题动态生成答案。基于此，本文提出了 end2end 的 chunk 抽取神经网络。文章思路Dynamic Chunk Reader 这一模型分成四步：encode layer 分别使用 bi-GRU 对 passage 和 question 进行编码，这里面的每个词的表示是由 word embeddi...
2018-06-11 21:13:32
326
转载 DrQA实践
2017年七月份Facebook开源了其开放域问答系统DrQA的代码。关于DrQA，还有一篇2017年发表在ACL上的论文《Reading Wikipedia to Answer Open-Domain Questions》，在此首先介绍一下论文的原理。 DrQA模型主要分为两部分，第一部分Retriever和第二部分Reader，Retriever根据问题检索出维基百科语料库中最相关的5篇...
2018-06-11 21:10:01
428
转载 DrQA详细安装教程及常见的故障解决
最近导师要求安装这个项目，本人在网上找了一些教程都只有一下简略的安装方法，也并没有说明一些常见的故障该如何来解决，所以本人这篇博客算是记录了我这几天的安装心得。 关于项目介绍这里就不细说了，直接进入正题，这里项目需要在Linux的环境下进行安装，且python版本需要在3.5以上，所以如果用Windows的装一个双系统吧，也不要尝试在虚拟机里面使用，内存消耗很大，虚拟机用起来会很卡。本...
2018-06-11 21:08:46
1628
4
转载 A Knowledge-Grounded Neural Conversation Model
原文：https://arxiv.org/pdf/1702.01932.pdf 原论文的主要内容翻译与总结摘要Neural network 模型已经可以进行很自然的对话交互了。但目前来看，这些模型在基于任务的对话中并没有通过吸取其他形式的真实信息或背景实体（entity-grounded）观点来增强它们的服务水平。该论文就提出来一种新颖的，完全有数据驱动的，并且基于...
2018-06-11 21:06:21
1386
转载 [NLP论文阅读]A Neural Knowledge Language Model（一）
原文地址：A Neural Knowledge Model摘要现有的语言模型(Language Model)在对factual knowledge的编码(encode)和解码(decode)方面存在着明显的局限。原因是语言模型主要通过统计共现的方式来获得knowledge，但是大部分和知识有关的词是极少出现的。在本文中，作者提出了一个Neural Knowledge Language Model(...
2018-06-11 21:04:50
281
转载 Distilling the Knowledge in a Neural Network[论文阅读笔记]
本文是Hinton大神在网络压缩与迁移学习方向挖的一个坑 原文链接Distilling the Knowledge in a Neural Network 这种方法感觉受到了ensemble的启发，利用大型（teacher net）网络提取先验知识，将这种先验知识作为soft target让微型网络（student network）学习,有点像Boost中第一个分类器学到后调整weight...
2018-06-11 21:00:15
938
转载 Face Model Compression by Distilling Knowledge from Neurons 论文理解
引入一. 背景为保证人脸识别技术的精度要求，需要大而复杂的单个或者组合的深度神经网络实现。该技术欲迁移至移动终端与嵌入式设备中。二. 解决方法运用模型压缩技术，用小的网络去拟合大量数据。大型 teacher network的知识作为监督，训练一个小而紧凑的student network，运用到了 domain knowledge。模型蒸馏技术一. 《Distilling the Knowledge...
2018-06-11 20:57:36
669
转载 【论文笔记】An End-to-End Model for QA over KBs with Cross-Attention Combining Global Knowledge
一、概要 该文章发于ACL 2017，在Knowledge base-based question answering (KB-QA)上，作者针对于前人工作中存在没有充分考虑候选答案的相关信息来训练question representation的问题，提出了一个使用Cross-Attention机制的神经网络模型来针对于候选答案的不同方面信息来训练模型；并且训练知识库的全局信息学习，在一定程度...
2018-06-11 20:55:57
307
转载 论文《Adversarial Reading Networks For Machine Comprehension》
综述:文中描述当前阅读理解任务中受限于监督学习设置，以及可用的数据集。这篇论文主要提出关于阅读理解任务中的对抗学习以及self-play.它用一个名为reader network来找到关于text和query的答案，还用一个名为narrator network的网络来混淆text的内容，来降低reader network网络成...
2018-06-11 20:53:09
250
转载 Bi-Directional Attention Flow For Machine Comprehension
关键词bi-directional attention来源arXiv 2016.11.05问题利用 multi-stage 信息对文章进行编码，同时尝试两个方向上的 attention 来提高 RC 性能。文章思路BiDAF 文中分为六步Character Embedding Layer利用 character level CNN 将每个词映射到一个高维向量空间Word Embedding Lay...
2018-06-11 20:51:11
531
转载 R-NET机器阅读理解（原理解析）
简介 斯坦福大学自然语言计算组发布SQuAD数据集，诸多团队参与其中，而微软亚研的R-NET是首个在某些指标中接近人类的深度学习模型。由于刚刚开源CNTK版的R-NET，趁着余热解读其中的原理。阅读准备 先介绍一下SQuAD数据集的特点，SQuAD数据集包含10w个样例，每个样例大致由一个三元组构成（文章Passage, 相应问题Query, 对应答案Answer), 以下皆用（P,...
2018-06-11 20:49:39
1954
转载 r-net机器阅读理解实践[code][github]
斯坦福大学自然语言计算组发起的SQuAD（Stanford Question Answering Dataset）文本理解挑战赛并不陌生，它也被誉为“机器阅读理解界的ImageNet”。诸多来自全球学术界和产业界的研究团队都积极地参与其中，近期在机器阅读理解上已经取得了不小的突破，因此这两天刚好有时间，对里面涉及的一些开源框架进行学习一下。 SQuAD 数据集包含 10 万个（问题，原...
2018-06-11 20:47:23
3007
转载 【AI前沿】机器阅读理解与问答·Dynamic Co-Attention Networks
内容速览协同注意力 Co-Attention动态迭代 Dynamic IterationDCN模型Highway和Maxout简介实验与总结在上期的文章【AI前沿】机器阅读理解与问答·介绍篇中，我们介绍了机器阅读理解与问答这一任务。介绍了该任务现在的Benchmark数据集（由Stanford发布的SQuAD）、基本的评价标准（Exact-match、F1-Score）、Baseline（基于特征...
2018-06-11 20:37:27
4439
1
转载 论文分享 - Reasoning with Memory Augmented Neural Networks for Language Comprehension
关键词Memory, reasoning来源arXiv 2016.10.20问题在此之前，所有 multi-turn 模型都为多跳推断预先设定了固定的跳数。但是并不是所有的 document-query 对都需要同样的推理步数，有的只需要词或者句子级别的匹配，有的需要复杂的语义理解和深度推理。基于此，本文提出了动态调整跳数的模型。文章思路Memory Initialization首先通过 Bi-L...
2018-06-11 20:36:10
279
转载 论文分享 - 记忆网络之Key-Value Memory Networks
今天要介绍的这篇文章是Facebook在2016年6月发表的一篇文章，相比之前的两篇可以说是更加完美的将Memory Networks应用的了QA任务上。End-To-End那篇文章相比第一篇解决的强监督的问题，从而提出一种端到端的记忆网络，但仍然没有运用到QA的数据集上（虽然专栏的第三篇文章介绍了两篇使用该模型进行QA数据集训练的方法，但是模型的实际效果并不是很好，而且这种针对数据集的修改没有对...
2018-06-11 20:32:51
903
转载 论文分享 - 记忆网络之Hierarchical Memory Networks（架构分层）
记忆网络之Hierarchical Memory Networks（架构分层）这是中科院去年发表的一篇论文“Hierarchical Memory Networks for Answer Selection on Unknown Words”。其仿真代码作者已经开源，是用Lasagne实现的。虽然和上一篇一样都叫做“Hierarchical Memory Netwo...
2018-06-11 20:31:50
345
转载 论文分享 - Machine Comprehension Using Match-LSTM and Answer Pointe
介绍在Machine Comprehension（MC）任务中，早期数据库规模小，主要使用pipeline的方法；后来随着深度学习的发展，2016年，一个比较大规模的数据库出现了，即SQuAD。该文是第一个在SQuAD数据库上测试的端到端神经网络模型。主要结构包括两部分：Match-LSTM和Pointer-Net，并针对Pointer-Net设计了两种使用方法，序列模型（Sequence Mod...
2018-06-11 20:26:59
225
转载 论文分享 - Reinforced Mnemonic Reader for Machine Comprehension
简介这篇论文发表时间比较近，比较全面地总结了match-LSTM、R-Net等众多前人模型的优缺点，并做了很好的改进，如：增加编码层能力，解决长距离上下文信息，提炼预测答案片段，直接优化评价函数等，在SQuAD数据库上取得了State-Of-Art的效果。前人的很多模型都具有一个共同的网络框架，即“encoder-interaction-pointer”。首先是将问题和段落的单词序列利用RNN网络...
2018-06-11 13:58:10
559
转载 机器阅读理解技术初探&Bi-DAF
转载：https://blog.csdn.net/qq_37171771/article/details/79764747
2018-06-07 12:13:30
551
转载 Attention Is All You Need
https://arxiv.org/pdf/1706.03762.pdf摘要主流的基于Encoder-Decoder的序列转换模型主要是基于复杂的递归或者卷积网络。现在好的模型还会加上一层聚焦(attention)机制。这篇文章我们提出一种新的网络框架，成为：Transformer，主要是基于attention机制，rnn和cnn作为补充。这种方法在准确率和训练速度上面取得了相当不错的效果介绍Rn...
2018-06-07 12:09:14
2026
1
转载 QA(三)：复杂attention机制(coattention及bi-attention)
转载：https://blog.csdn.net/chazhongxinbitc/article/details/78825704
2018-06-07 12:06:20
2013
转载 QA(一)：Dynamic Memory Networks for Natural Language Processing
转载：https://blog.csdn.net/chazhongxinbitc/article/details/78686730
2018-06-07 12:05:16
405
转载 QA(二)：利用Attention机制，带着问题阅读
摘要本文介绍一种结合 math-LSTM 和Pointer Net利用end-end的来解决QA问题的方式模型最主要的还是 match-LSTM：有两个句子，一个是前提，另外一个是假设，match-LSTM序列化的经过假设的每一个词，然后预测前提是否继承自假设。简单的说：带着问题去阅读原文，然后用得到的信息去回答问题先利用LSTM阅读一遍passage，得到输出的encoding 序列然后带着qu...
2018-06-07 11:58:52
308
转载 论文分享 - An End-to-End Model for QA over KBs with Cross-Attention Combining Global Knowledge
一、概要 该文章发于ACL 2017，在Knowledge base-based question answering (KB-QA)上，作者针对于前人工作中存在没有充分考虑候选答案的相关信息来训练question representation的问题，提出了一个使用Cross-Attention机制的神经网络模型来针对于候选答案的不同方面信息来训练模型；并且训练知识库的全局信息学习，在一定程度...
2018-06-07 11:52:47
705
转载 论文分享 - R-Net: Machine Reading Comprehension with Self-Matching
介绍该文由MSRA发表，在SQuAD数据库上目前成绩最好。模型借鉴了Wang&Jiang最早的match-LSTM方法，做了一些改进，网络结构分为以下四部分：RNN网络分别对question和passage单独编码基于门限的注意力循环神经网络（gated-attention based recurrent network）匹配question和passage，获取问题的相关段落表示（que...
2018-06-07 11:50:06
693
Ubuntu14下安装TP-LINK 无线网卡驱动-shell安装包版本
2017-05-09
tensorflow开发手册_1.0版（中文）, 2.0版（英文）
2017-05-07
TP-LINK TL-WN823N chipset (0bda:818b) Ubuntu驱动程序
2017-05-06
fastjson-1.1.36.jar
2015-11-11
msysGit安装包下载
2015-04-10
hadoop-eclipse-plugin-1.1.2.jar
2014-09-01
apache-flume-1.4.0.tar.gz
2014-08-31
apache-ant-1.9.1-bin.zip
2014-08-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人