Chevalier的博客

原创 实体关系的联合抽取总结

实体关系的联合抽取总结2014Incremental Joint Extraction of Entity Mentions and Relations. ACL (1) 2014:动机：方法：基于特征工程的结构化系统问题：需要设计复杂的特征工程，严重依赖于NLP工具，这可能会导致错误传播问题。Modeling Joint Entity and Relation Extraction ...

原创 SpringBoot开发微信点餐系统笔记--介绍

一、技术要点 前后端分离：前端有Vue.js构建的WebApp，后端由SpringBoot构建，后端的前端页面使用Bootstrap+Freemarker+JQuery快速构建。前端与后端通过Restful风格的接口相连。后端架构如图： 其它技术要点：微信扫码登录，模板消息推送...

原创 SpringBoot开发微信点餐系统笔记--项目设计

项目设计 角色划分：卖家（PC端）、买家（手机端） 功能分析： 部署架构：买家和卖家发起数据请求，请求首先会到达Ngnix服务器，买家端的前端资源都会放在Nginx服务器上，如果请求后端接口，Nginx服务器会进行转发，转发到Tomcat服务系，如果这个接口有缓存，就会访问Redis服务，如果没有缓存，就会访问Mysql数据库。...

原创 Attention is all you need【论文笔记】

一、摘要  显性序列转导模型通常基于复杂的RNN或CNN模型，包括一个encoder和一个decoder。表现最好的模型通常也在encoder和decoder之间应用attention机制。我们提出一个新的简单的网络架构，单纯地基于attention机制，完全没用到RNN或CNN模型。两个机器翻译任务的实验表明，这些模型在质量上更优越，同时更易于并行化，并且需要更少的时间进行训练。二、介绍 ...

原创 An Introductory Survey on Attention Mechanisms in NLP Problems【论文笔记】

一、摘要  注意力机制可以被用来编码序列数据基于每个元素的重要性分数，已经被广泛用于NLP中的各种任务。本篇论文，作者介绍了各种attention，探索他们之间的联系并且评估其性能。二、介绍  作者通过举了机器翻译的例子介绍为什么要用attention机制。传统的机器翻译方法是encoder-decoder架构的，都是由RNN结构组成。但是RNN有两种严重的缺陷：RNN是健忘的，意味着旧信息...

原创 Dynamic Meta-Embeddings for Improved Sentence Representations【论文笔记】

一、摘要  在很多NLP任务上的首要步骤就是选择使用哪种预训练词向量，我们认为这一步骤留给神经网络自己选择比较好。作者提出了dynamic meta-embeddings，其实就是对embedding做了attention，在各种任务上的相同模型上取得了state-of-the-art的效果。二、介绍  毫不夸张地说词向量是NLP的一种革命性的突破。有大量文献研究哪种词向量对哪些任务最有用。...

原创 End-To-End Memory Networks【论文笔记】

一、摘要  作者介绍了引入可能很大的外部存储器的递归注意力模型。这种架构是记忆网络的一种形式，但与之前的不同，它是可以端到端训练的。模型的灵活性使得我们能够将其应用于各种任务，如问答、语言建模。在实验中，作者介绍的多条机制提升了模型效果。二、介绍  AI研究的两个巨大挑战就是：1.搭建一个模型，可以在回答问题或完成任务的时候进行多条计算；2.在序列数据中捕捉长距离依赖关系。  最近使用显式...

原创 Chinese NER Using Lattice LSTM【论文笔记】

一、摘要  作者在中文的NER任务上提出了一个新颖的lattice-structured LSTM，编码输入字符序列和所有与词库匹配的潜在词语。与基于字符的方法相比，我们的模型明确地利用了单词和单词序列信息。与基于单词的方法相比，lattice LSTM不会受到分词错误的影响。门控循环神经元允许模型选择最相关的字符和单词，以此得到更好的结果。在各种数据集的实验表明，与基于字符和单词的方法相比，l...

原创 Bidirectional LSTM-CRF Models for Sequence Tagging【论文笔记】

一、摘要  本文中，我们介绍了序列标注上各种基于LSTM的模型，LSTM模型、双向LSTM模型、LSTM+CRF、BiLSTM+CRF。我们的工作是第一个在序列标注数据集上使用BiLSTM+CRF模型。BiLSTM-CRF模型通过双向LSTM有效地捕捉到了输入的过去和未来特征。它也可以通过CRF层使用到句子级的标记信息。BiLSTM-CRF在POS、分块、NER数据集上都取得了state-of-...

原创 Neural Architectures for Named Entity Recognition【论文笔记】

一、Background  

原创 Joint entity and relation extraction based on a hybrid neural network【论文笔记】

一、Background  实体和关系抽取是从文本中抽取命名实体以及识别实体之间的语义关系。传统的系统是以流水线的方法执行这两个任务：首先进行命名实体识别，然后关系抽取。这种分离的框架使得处理两个任务的方式比较灵活性，但是却忽略了彼此的相关性。联合学习框架是关联NER和RC的有效方法，同时可以避免级联错误。但是目前现有的大多数系统都是基于特征工程的，需要花费大量人力时间构建特征。为了减少人工特征...

原创 Global Normalization of Convolutional Neural Networks for Joint Entity and Relation Classification

一、Background  命名实体分类(EC)和关系抽取(RE)在NLP中是热点话题。他们是相关的，但是大多数方法都是pipeline的，先进行NER，然后RE。然而，命名实体类型和关系通常是相互依赖的。如果已知实体类型，则可以减少他们之间可能关系的搜索空间，反之亦然。比如，‘Mercedes’，可能是一个人名，组织名，地名，如果上下文中存在‘live_in’关系，那么‘Mercedes’就是...

原创 Joint entity recognition and relation extraction as a multi-head selection problem【论文笔记】

一、Background  实体识别和关系提取的目标是从非结构化文本中发现实体提及的关系结构。传统的方法是以pipeline的方式分离两个子任务：NER和RE。这有两个缺点：错误传播和没有利用到关联信息。然后就开始做联合抽取的工作。刚开始的联合抽取依赖于手工特征；然后神经网络的兴起缓解了这个问题，但是一些工作依赖于外部工具。注意，上述工作检查关系提取的实体对，而不是直接对整个句子建模。这意味着不...

原创 Adversarial training for multi-context joint entity and relation extraction【论文笔记】

一、Background  最近许多神经网络方法在各种自然语言处理（NLP）任务中大展身手，比如语义解析、POS、关系抽取、翻译。然而，Szegedy et al.(2014)观察到对这些模型的输入的有意的小规模扰动（比如，对抗性的例子）可能导致不正确的决定（高置信度）。Goodfellow et al.(2015)提出的对抗训练（AT）（用于图像识别）作为正则化方法，其使用清洗和对抗性示例的混...

原创 Attending to Characters in Neural Sequence Labeling Models【论文笔记】

一、Background  很多NLP任务，比如命名实体识别、词性标注、浅层解析都可以当做是序列标注问题。因此，开发准确和有效的序列标记模型对于广泛的下游应用是有用的。传统的方法设计了很多任务明确的特征——在NER中集成gazetteers，在词性标注中使用形态分析器的特征。最近神经网络架构和表示学习的发展使得模型可以从数据中自动学习有用的特征。二、Motivation  当前的神经网络模型...

原创 End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures【论文笔记】

一、Background  抽取实体之间的语义关系是信息抽取和NLP中一项很重要且经过充分研究的任务。传统的方法将这个任务以pipeline的方式分为两个子任务：NER和RE。但最近的研究表明端到端的联合抽取模型能取得更好的性能，因为实体与关系密切相关。之前的联合抽取模型大多采用基于特征的结构化学习。另一种方法是基于端到端的神经网络模型自动学习特征。  存在两种通过神经网络表示实体间关系的方法...

原创 Joint Extraction of Entities and Relations Based on a Novel Graph Scheme【论文笔记】

一、Introduction  实体和关系的抽取是信息抽取的一项基本任务。例子如图一所示，输入是非结构化文本，输出是实体以及实体之间的关系。实体与关系之间又很强的依赖关系，关系与关系之间也是如此。比如已知“Live_In” 关系，那么其关联的实体类型分别是Person和Location，反之亦然。并且，（John，Live_In，California）的关系可以通过（John，Live_In，L...

原创 Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme【论文笔记】

一、Background  实体和关系的联合抽取是从非结构化文本中同时抽取提到的实体以及实体之间的关系。如图一所示。与开放域的信息抽取不同，从给定句子中抽取关系词；而在这个任务中， 关系词来源于预定义好的关系集中，可能在句子中并没有直接出现，是隐含关系，需要模型挖掘出来。  传统的方法是pipeline做的：首先抽取实体然后识别它们的关系。这种分离的框架使得任务更容易处理，每个组件也变得更灵活...

原创 Going out on a limb:Joint Extraction of Entity Mentions and Relations without Dependency Trees【论文笔记】

一、Background  从文本中抽取实体及其关系是NLP中的一种结构化预测任务，比如细粒度观点挖掘，语义角色标注等等。  一些方法被提出用于抽取实体及其关系。这些方法可以被分为两类：pipeline的方法和joint models。联合模型的性能要优于pipeline的方法，因为关系类型的信息能辅助实体抽取，反之亦然。  RNN是序列标注的常用模型。但是，RNN在识别句子中非相邻的单词之...

原创 A STRUCTURED SELF-ATTENTIVE SENTENCE EMBEDDING【论文笔记】

一、Background  在学习单个词的语义上有意义的分布式表示方面已经取得了很大进展，比如word emebddings。另外，要获得满意的短语和句子表示仍然有很多的工作要做。这些方法通常可以分为两大类：通用的embedding，无监督学习训练得到，包括SkipThought vectors、ParagraphVector等等。另外一种是特定任务监督训练得到的，通常与下游应用相关。一般来说，...

原创 基于深度学习的关系抽取综述

论文：https://arxiv.org/pdf/1705.03645.pdf一、介绍  信息抽取是NLP的一个基本任务，从非结构化文本中抽取机器或程序能够理解的结构化知识。

原创 Deep Residual Learning for Weakly-Supervised Relation Extraction【论文笔记’】

一、Introduction  关系抽取任务是在句子中预测实体的关系和属性。关系抽取是构建关系知识图谱的关键部分，对NLP应用也至关重要，比如结构化搜索、情感分析、问答和摘要等等。  关系抽取的一个主要难点就是缺少大量标注数据。远程监督大放异彩，解决了这个问题，它利用知识库的事实来对无标签数据进行标注。在远程监督的所有机器学习方法中，最近提出的CNN模型实现了STOA的效果。紧接着，Zeng ...

原创 Relation Classification via Convolutional Deep Neural Network【论文笔记】

一、Background  关系分类的任务是预测名词对之间的语义关系，可以定义如下：给定一个句子S和名词对e1e_1e1​和e2e_2e2​，我们旨在识别e1e_1e1​和e2e_2e2​的关系。对自动关系分类有相当大的兴趣，无论是作为目的本身还是作为各种NLP应用程序的中间步骤。  最具代表性的关系分类方法使用监督学习算法：已经证明这些方法是有效的并且产生相对高的性能。监督方法可以进一步分为...

原创 docke的基础知识

1.拉取镜像通过命令下载dockerhub上的官方镜像docker pull username/image:tag比如，docker pull gw000/keras:2.1.4-py3-tf-gpu2.将容器打包为镜像docker commit container image其中container表示容器名或容器id，image为镜像名比如，test为tag名docker...

转载 如何使用Keras fit和fit_generator（动手教程）

写在前面原文出处请点击这里被Adrian Rosebrock圈粉后，就一直期待他的更新，作者每周一更新，考虑到时差问题（作者在美国），一般北京时间周二才能看到。作者根据读者留言中的问题写下了这篇博客，迫不及待的学习了一番，发现过一遍是无法完全理解的，还需要重复...

转载 神经网络的多任务学习概览

译自：http://sebastianruder.com/multi-task/转载自：https://www.cnblogs.com/shuzirank/p/7141017.html1. 前言  在机器学习中，我们通常关心优化某一特定指标，不管这个指标是一个标准值，还是企业KPI。为了达到这个目标，我们训练单一模型或多个模型集合来完成指定得任务。然后，我们通过精细调参，来改进模型直至性能不...

原创 关系抽取相关资料

实体关系抽取 entity relation extraction 文献阅读总结：https://www.cnblogs.com/theodoric008/p/7874373.html基于深度学习的关系抽取：http://www.cipsc.org.cn/qngw/?p=890http://www.aclweb.org/anthology/P/P16/P16-2034.pdf...

转载 Markdown 帽子，戴帽符号

原创 python绘制曲线图

# -*- coding: UTF-8 -*-import numpy as npimport matplotlib as mplimport matplotlib.pyplot as plt# 这里导入你自己的数据# ......# ......# x_axix，train_pn_dis这些都是长度相同的list()# 开始画图plt.title('Result Analy...

原创 tensorflow 保存日志

import loggingimport time# 创建一个loggerlogger = logging.getLogger('mylogger')logger.setLevel(logging.DEBUG)# 创建一个handler，用于写入日志文件timestamp = str(int(time.time()))fh = logging.FileHandler('./log...

转载 tensorflow：实现断点续训【转载】

原文链接：https://blog.csdn.net/qq_25987491/article/details/80529435saver = tf.train.Saver() #用于保存神经网络结构，构造方法可以传参数，参数可以是dict和list。不传参数时默认保存所有变量 with tf.Session() as sess: tf.initialize_al...

转载 自然语言处理中的自注意力机制（Self-attention Mechanism）【转载】

原文：https://www.cnblogs.com/robert-dlut/p/8638283.html  近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的at...

原创 NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE【论文笔记】

一、摘要  神经机器翻译是最近提出的机器翻译的一种方法。与传统的统计机器翻译不同，神经机器翻译旨在建立一个单一的神经网络，可以联合调整以最大化翻译性能。最近提出的用于神经机器翻译的模型通常属于一系列编码器 - 解码器，并将源句编码成固定长度的矢量，解码器从该矢量生成翻译。我们推测对于提升基本的编码器-解码器结构的性能，固定长度向量的使用是一个瓶颈。并建议通过允许模型自动搜索与预测目标词相关的部分...

原创 MEMORY NETWORKS【论文笔记】

一、摘要  我们描述了一类称为内存网络（Memory Networks）的新型学习模型。内存网络解释了与长期内存组件相结合的推理组件。他们学习如何共同使用这些。可以读取和写入长期记忆，目的是将其用于预测。我们在问答（QA）的背景下研究这些模型，其中长期记忆充当（动态）知识库，并且输出是文本回复。在大规模QA任务上进行评估，然后，通过链接多个支撑句子来回答需要理解动词内涵的问题，以此展示这些模型的...

原创 Effective Approaches to Attention-based Neural Machine Translation【论文笔记】

一、摘要  attention机制通过在翻译过程中选择性地专注于部分原句来提高神经机器翻译（Neural Machine Translation，NMT）的性能。然而，目前很少有用的基于attention的NMT架构。本篇论文介绍了两种简单有效的attention机制。全局attention关注原句的所有单词，局部attention关注原句的一部分单词。二、介绍  NMT通常是一个大型的神经...

原创 Targeted Aspect-Based Sentiment Analysis via Embedding Commonsense Knowledge into an Attentive LSTM

一、摘要  作者提出一个新颖的方法来解决targeted ABSA，通过利用通用知识。用一个包含target-level的attention和sentence-level的attention的层次化attention机制来增强LSTM结构。关于情感相关概念的常识知识被结合到用于情感分类的深度神经网络的端到端训练中。为了将常识知识紧密地集成到递归编码器中，作者提出了LSTM的扩展结构，称为Sent...

Reading Wikipedia to Answer Open-Domain Questions【论文笔记】

一、摘要  这篇文章主要是介绍使用维基百科作为唯一的知识库来解决开放域问答。大规模机器阅读任务的主要挑战是文档检索（查找相关文章）和机器阅读理解（从文章中确定答案片段）。作者的方法将基于bigram hashing 和TF-IDF匹配的搜索组件与经过训练以检测维基百科段落中的答案的多层递归神经网络模型相结合。我们对多个现有QA数据集的实验表明：（1）两个模块相对于现有模块具有很强的竞争力;（2）...

原创 Semantic Parsing via Staged Query Graph Generation: Question Answering with Knowledge Base【论文笔记】

一、摘要  我们对知识库问答提出一个新颖的语义解析框架。我们定义了一个类似于知识库子图的查询图，可以直接映射为逻辑形式。语义解析被简化为查询图生成，被公式化为分阶段搜索问题。与传统方法不同，我们的方法在早期就利用知识库来修剪搜索空间，从而简化语义匹配问题。通过应用实体链指系统和深度卷积神经网络匹配问题和谓词序列，我们的系统由于之前的方法，在WebQuestion数据集上F1达到了52.5%。二...

原创 Question Answering over Freebase with Multi-Column Convolutional Neural Networks【论文笔记】

一、概要  通过知识库回答自然语言问题是一个重要的具有挑战性的任务。大多数目前的系统依赖于手工特征和规则。本篇论文，我们介绍了MCCNNs，从三个不同层面（答案路径，答案类型，答案上下文）来理解问题。同时，在知识库中我们共同学习实体和关系的低维词向量。问答对用于训练模型以对候选答案进行排名。我们还利用问题释义以多任务学习方式训练列网络。我们使用Freebase作为知识库，在WebQuestion...

原创 Context-Aware Basic Level Concepts Detection in Folksonomies【论文笔记】

一、概要这篇论文讨论了在 folksonomies中探索隐含语义的问题。在 folksonomies中，用户创建和管理标签来标注web资源。用户创建的标签的集合是潜在的语义资源。做了大量研究来抽取概念，甚至概念层次 (本体)，这是知识表示的重要组成部分。没有用于发现人类可接受和令人满意的概念的度量标准，因此通过现有方法从 folksonomies中抽取概念对人类使用来说并不自然。在认知心理学中...