![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP自然语言处理
iceburg-blogs
北京邮电大学计算机技术研究生,主要研究方向为自然语言处理,信息抽取,知识图谱。
展开
-
AAAI论文Joint Extraction of Entities and Overlapping Relations Using Position-Attentive Sequence阅读笔记
部分内容翻译摘要联合实体和关系提取是使用单个模型同时检测出实体和关系。本文提出了一种新颖的统一联合提取模型,该模型根据查询词位置p直接标记实体和关系标签,即在p处检测实体, 为此,我们首先设计了一种标记方案,为一个n词句子生成n个标记序列,然后引入位置注意机制为每个词产生不同的句子表示形式。 查询位置以对这n个标记序列进行建模。这样,我们的方法可以同时提取所有实体及其类型以及所有重叠关系。引...原创 2020-02-22 11:21:49 · 2889 阅读 · 2 评论 -
NLP学习01--BP神经网络
一.神经元模型如下图是深度学习(deep learning)中神经元的模型,神经元是进行计算的基本单元。其中x1、x2 和x3为输入,+1为偏置神经元进行计算的数学公式可表示为:上式中,F、w、b分别为激活函数,权重,偏置;其中,激活函数F有多重,常用激活函数有sigmoid,Relu和tanh等二.BP神经网络2.1 BP神经网络原理BP神经网络的工作原理图如下所示:最左...原创 2019-06-07 18:44:15 · 1307 阅读 · 0 评论 -
NLP学习02--卷积神经网络CNN
一.卷积神经网络简介卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一。CNN在CV和NLP领域都有很广泛的应用,相较于传统的算法,CNN避免了复杂的前期预处理过程(提取人工特征等),可以直接输入原始数据。CNN能够实现上述独特功能的原因是它使用了局部连接(Sparse Connectivity)和权值共享(Shared We...原创 2019-06-07 20:19:40 · 948 阅读 · 0 评论 -
NLP学习03--递归神经网络RNN
一.递归神经网络RNN简介BP神经网络和CNN的输入输出都是互相独立的;但是实际应用中有些场景输出内容和之前的内 容是有关联的。 RNN引入“记忆”的概念;递归指其每一个元素都执行相同的任务,但是输出依赖于输入和“记忆”bp神经网络和卷积神经网络这两种结构有一个特点,就是假设输入是一个独立的没有上下文联系的单位。但是对于一些有明显的上下文特征的序列化输入,比如预测视频中下一帧的播放内容,那么很...原创 2019-06-08 14:51:20 · 885 阅读 · 0 评论 -
NLP学习04--长短期记忆网络LSTM
一.长短期记忆网络LSTM简介LSTM是对RNN的改进和升级,在RNN模型中,对于长期依赖的问题可能产生梯度消失和梯度爆炸,而在RNN的基础上改进而来的LSTM则特别适合解决这类需要长时间依赖的问题。LSTM相对于RNN的不同使,LSTM将“记忆细胞”进行了改造,而不是像RNN那样只有一个简单的激活函数。在LSTM中,需要记录的信息会一直传递,不需要记录的信息会被截断掉如下图所示,部分输出和输...原创 2019-06-08 16:47:05 · 1182 阅读 · 0 评论 -
自然语言处理基本概念及基础工具
基本概念1.分词中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成 一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。2.词性标注词性标注(Part-of-Speech tagging 戒POS tagging),又称词类标注或者简称标注,是指为分词结果中的每个单词标注一个正确的词性的程 序,也即确定每个词是名词、动词、形...原创 2019-09-14 21:50:43 · 660 阅读 · 0 评论