基于知识图谱问答(KBQA)---数据集提供及获取工具开源

1.知识图谱基础介绍 一个完整的知识图谱数据,主要由七个部分组成:   (1)类型   类型是根据不同实体所包含的属性来进行划分的,类型是对具有相同特点或属性的实体集合的抽象。例如,中国是一个实体,美国是一个实体,法国是一个实体,这些实体都具有共同的特征,可以抽象为国家类型。   (2)域...

2019-04-24 17:07:49

阅读数 123

评论数 0

基于知识图谱问答(KBQA)---语义依存分析及代码开源

前言 由于最近在研究并尝试编写一个基于知识图谱问答的系统,并调研了一些其他类型的问答系统,如FAQ,任务型问答等,在这个过程中需要完成对所给问题进行解析,生成能够带入到知识图谱中进行查询的结构,因此,提出并编写了一个基于图的依存解析,并采用修改后Seq2Seq2模型实现的一个语义依存解析模型。对...

2018-12-25 18:41:43

阅读数 1068

评论数 19

Layer Normalization翻译

摘要 训练好的深度神经网络在计算上是昂贵的。减少训练时间的一种方法是归一化神经元的激活。最近引入的称为批量归一化(batch normalization)的技术使用在一小批训练样例中对神经元的加权输入的分布来计算均值和方差,然后将其用于在每个训练样例中对该神经元的加权输入进行归一化。这显着减少了...

2019-05-17 14:46:43

阅读数 3

评论数 0

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift翻译

摘要 训练深度神经网络很复杂,因为每个层的输入分布在训练期间会发生变化,这是由于前一层的参数会发生变化。这通过要求较低的学习速率和详细的参数初始化方式来克服,但是这回减慢模型训练速度,并且使得训练具有饱和非线性的模型变得非常困难。我们将这种现象称为内部协变量偏移(internal covaria...

2019-05-13 16:16:25

阅读数 5

评论数 0

GAUSSIAN ERROR LINEAR UNITS (GELUS)翻译

摘要 我们提出了高斯误差线性单元(GELU),它一种高性能的神经网络激活函数。GELU的非线性是随机正则化器的预期变换,随机正则化器(防止过拟合)将等式或零映射随机应用于神经元的输入。GELU的非线性按其幅度输入,而不是按照ReLU中的符号进行门控输入。我们针对ReLU和ELU激活对GELU非线...

2019-05-06 10:55:01

阅读数 19

评论数 0

SEARCHING FOR ACTIVATION FUNCTIONS翻译

1.摘要 在深度神经网络中选择合适的激活函数对网络的动态训练和任务的性能具有显著的影响。目前,最成功也最为被广泛使用的激活函数是修正线性单元(Rectified Linear Unit,ReLU)。虽然已经提出了各种手工设计的ReLU替代方案,但由于收益不一致,没有人设法取代它。在这项工作中,我...

2019-04-29 14:32:50

阅读数 109

评论数 0

Attention Is All You Need翻译

摘要 主流的序列转换模型都是基于复杂的循环或卷积神经网络,这个模型包含一个编码器和一个解码器。具有最好性能的模型在编码和解码之间通过一个注意力机制链接编解码器。我们提出了一个新的简单网络结构,Transformer,仅仅是基于注意力机制,而不完全是循环和卷积。两个机器翻译任务的实验表明,该模型性...

2019-04-11 10:24:42

阅读数 210

评论数 0

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding翻译

摘要 我们引入了一个新的被称为BERT的语言表示模型,它使用了Transformers的双向编码表示。与最近的语言表示模型(Peters et al., 2018; Radford et al., 2018)不同,BERT旨在通过联合调节所有层中的左右上下文来预先训练深度双向表示。因此,预训练的...

2019-03-29 11:32:56

阅读数 101

评论数 0

Professor Forcing: A New Algorithm for Training Recurrent Networks翻译

摘要 Teacher Forcing算法通过在训练的时候,将目标输出作为输入并使用网络自己的一次性预测来进行多步采样,从而对循环神经网络进行训练。我们引入Professor Forcing算法,在训练网络以及在多个时刻从网络采样时,使用对抗域自适应(adversarial domain adap...

2019-02-22 15:06:02

阅读数 94

评论数 0

Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks翻译

github:https://github.com/stanfordnlp/treelstm. 摘要 由于长短期记忆网络(LSTM)这种具有复杂单元的循环神经网络具有良好的表示序列信息的能力,其在多种序列模型任务中都取得了非常好的结果。到目前为止一直被使用的LSTM是一个线性结构。然而,自然语...

2019-01-23 16:52:23

阅读数 132

评论数 0

Teacher Forcing for Recurrent Neural Networks

Teacher Forcing是一种用来快速而有效地训练循环神经网络模型的方法,这种方法以上一时刻的输出作为下一时刻的输入。   它是一种网络训练方法,对于开发用于机器翻译,文本摘要和图像字幕的深度学习语言模型以及许多其他应用程序至关重要。   阅读这篇文章后,你会知道: 训练循环神经网...

2019-01-21 11:04:12

阅读数 600

评论数 0

Sequence to Sequence Learning with Neural Networks翻译

摘要 在非常困难的学习任务上,深度神经网络(DNNs)模型能达到非常好的效果。虽然DNNs在大量有标记的训练数据中有很好的效果,但它们不能用于将一个序列映射到另一个序列。在这篇论文中,我们提出了一种通用的端到端序列学习方法,它对序列结构做出了最小化的假设。我们的方法使用了一个多层的长短期记忆网络...

2019-01-15 10:21:20

阅读数 117

评论数 0

MASKGAN: BETTER TEXT GENERATION VIA FILLING IN THE __ 翻译

摘要 用来进行文本生成的模型经常是使用自回归模型或者Seq2Seq模型。这些模型通过按顺序抽样单词进行文本的生成,并且每一时刻生成的单词由前一时刻生成的单词决定,这作为机器翻译以及文本摘要的最新实现技术。这些评价指标由困惑度(validation perplexity)来定义,尽管困惑度并不是评...

2019-01-06 18:20:00

阅读数 239

评论数 4

Neural Architectures for Named Entity Recognition翻译

摘要 目前最新的命名实体识别系统在很大程度上依赖于人工标注特征以及领域相关的知识,从而能够更加有效地学习可利用的、小型的、监督训练语料。在论文中,我们提出了两种新型的神经网络结构——一种依赖于双向LSTM和条件随机场(CRF),另外一种是受移近/规约解析( shift-reduce)的启发,使用...

2018-12-22 16:04:23

阅读数 230

评论数 0

百度开源 FAQ 问答系统(AnyQ)---问题匹配模块(Matching)

在AnyQ问答系统中,通过检索模块(Retrieval)从索引库中得到N个候选问题以后,需要带入到问题匹配模块(Matching),依次对每个候选问题与输入问题计算其相似度。对于同一个候选问题-输入问题对来说,可以同时计算多种类型的相似度。   该模块目前所提供的相似度计算功能有: 1.编辑距离相...

2018-12-15 15:17:07

阅读数 677

评论数 0

RNN Encoder-Decoder翻译

在这篇文章中,我们将描述在实验中所使用的RNN编码器-解码器在结构上的细节。其中,以GRU为隐藏单元   我们令源短语为X=(x1,x2,...,xN)X=(x_1,x_2,...,x_N)X=(x1​,x2​,...,xN​),目标短语为Y=(y1,y2,...,yM)Y=(y_1,y_2,....

2018-12-07 13:25:44

阅读数 182

评论数 0

Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation翻译

摘要 在本文中,我们提出了一种新的神经网络模型,称为RNN编码器 - 解码器,由两个循环神经网络(RNN)组成。一个RNN将符号序列编码成固定长度矢量表示,而另一个RNN将该矢量表示解码成另一个符号序列。在所提出的模型中,通过最大化在给定原序列的条件下目标序列出现的概率,来同时训练编码器和解码器...

2018-12-06 16:50:44

阅读数 203

评论数 0

百度开源 FAQ 问答系统(AnyQ)---问题检索模块(Retrieval)

在AnyQ问答系统中,输入的问题通过分析模块(Analysis)对问题进行分词,词向量表示等操作后,再输入到问题检索模块(Retrieval),由该模块将问题带入到FAQ数据集中进行检索,得到前N个候选问题。   该模块目前所提供的问题检索功能有: 1. 基于关键词的检索(Term检索,Ter...

2018-12-01 15:45:41

阅读数 885

评论数 0

百度开源 FAQ 问答系统(AnyQ)---问题分析模块(Analysis)

在AnyQ问答系统中,问题分析模块(Analysis)是整个系统中对输入问题进行解析的第一个模块。该模块所完成的主要功能有: 1. 对句子进行分词; 2. 对分词后的每个单词进行词性标注(POS); 3. 将每个单词进行词向量表示; 4. 命名实体识别(NER)。参考文章:https:/...

2018-11-24 16:54:41

阅读数 1605

评论数 1

百度开源 FAQ 问答系统(AnyQ)---FAQ数据集的添加

1.FAQ 所谓FAQ(Frequently Asked Questions)问答,指的是通过构建一个数量巨大的问题答案库来作为语料库,当输入一个问题时,通过计算该问题与语料库中的所有问题的语义相似度,给出语义最相似的问题所对应的答案。两个问题语义相似度的计算方法,有:余弦相似度、Jaccard相...

2018-11-11 14:36:30

阅读数 1812

评论数 2

提示
确定要删除当前文章?
取消 删除
关闭
关闭