悠哉的咸鱼-CSDN博客

原创自然语言处理（八）：使用深度强化学习玩雅达利

论文名称：Playing Atari with Deep Reinforcement Learning论文地址：http://www.cs.toronto.edu/~vmnih/docs/dqn.pdf相关论文：Human-level control through deep reinforcement learning论文地址：https://storage.googleapis.com/deepmind-data/assets/papers/DeepMindNature14236Paper.pdf

2021-09-01 19:56:20 1227 2

原创自然语言处理（七）：注意卷积神经网络的简单问题回答

论文名称：Simple Question Answering by Attentive Convolutional Neural Network论文地址：https://arxiv.org/pdf/1606.03391.pdf前置知识：上篇博客我们说了知识图谱是什么，以及要解决什么问题，本篇博客不再复述该部分。作者Wenpeng Yin的这篇论文主要讲了实体链接网络和关系检测网络的改进机制。文章目录一、关系链接网络1.word-cnn2.注意力机制二、实体链接网络一、关系链接网络1.word-c

2021-08-28 20:03:44 438

原创自然语言处理（六）：基于知识图谱问答的关系检测网络改进

论文名称：Improved Neural Relation Detection for Knowledge Base Question Answering论文地址:https://arxiv.org/pdf/1704.06194.pdf文章目录一、论文背景二、回答问题的方法1.句子预处理2.不同数据的任务3.识别方式三、关系连接网络结构一、论文背景首先我们需要知道什么是知识图谱。如下图所示，知识图谱元素由主语、谓语(也称为“关系”）和宾语构成，利用三元组(subject,predicate,obje

2021-08-28 01:22:44 434

原创自然语言处理（五）：字符级卷积神经网络char-cnn理解

论文地址：https://papers.nips.cc/paper/2015/file/250cf8b51c773f3f8dc8b4be867a9a02-Paper.pdf一、背景对于语言的输入，按照我们之前的做法是将词汇embedding成词向量。该做法的优缺点如下：优点：1、充分考虑了单词的内部信息，比如“love”和"like"作为近义词，生成的词向量会更为相似。2、因为词汇embedding后包含的信息较多，所以构建模型时不需要大量的训练数据。缺点:1、需要考虑到文本的内部语法信

2021-08-27 01:27:04 1168 1

原创自然语言处理（四）：直观理解lstm，以Nvs1为例编写pytorch代码

文章目录1.传统RNN的缺点和lstm的提出2.lstm的结构2.1总体结构差异2.2遗忘门2.3输入门2.4输出门3.代码演示4.参考资料1.传统RNN的缺点和lstm的提出以图像识别为例:图像识别存在退化问题，当网络隐藏层变多时，网络的准确度达到饱和然后急剧退化，而且这个退化不是由过拟合引起的。神经网络隐藏层数过多后效果变差，由梯度消失或爆炸引起，即反向链式传播累乘导致参数过大或过小。梯度消失:神经网络累乘引发的参数过小问题，对于任意x，其求导后的梯度可能为w1 x w2 x w3…wn，当w1、

2021-08-11 20:56:30 413

原创自然语言处理（三）：传统RNN（NvsN，Nvs1，1vsN，NvsM）pytorch代码解析

文章目录1.预备知识：深度神经网络(DNN)2.RNN出现的意义与基本结构3.根据输入和输出的网络结构分类3.1 N vs N（输入和输出序列等长)1.预备知识：深度神经网络(DNN)DNN输入固定长度的数据，前向传播输出output，与真实值求loss后反向传播更新参数，进行模型训练。如下图所示，我们每次输入固定长度的X1、X2、X3数据，训练得到正确的output输出。2.RNN出现的意义与基本结构假定我们正在做一个温度预测的时间序列任务，模型根据n-1天的历史温度数据，预测第n天的温度。任务

2021-08-06 16:38:25 1086

原创自然语言处理（二）：余弦算法计算词汇相似度

预备知识：欧式距离与余弦相似度计算方法1、欧式距离随机取出两个词向量A和B,A的词向量表示为[A1,A2,A3…An]，B的词向量表示为[B1,B2,B3…Bn]。对于词向量A和B,其欧式距离计算公式如下:2、余弦相似度对于词向量A和B,其余弦相似度计算公式如下:词向量的内在联系词向量可以表示单词间的内在联系，即两个单词的词向量通过计算可以得出其关联程度，词向量相似度计算公式主要有:欧氏距离、余弦相似度、Jaccard距离、编辑距离等几种，本文主要介绍欧式距离与余弦相似度。首先我们提出两个

2021-08-03 03:09:29 9373 2

原创自然语言处理（一）：word2vec

word2vec的作用在自然语言处理的任务中，我们需要输入数据才能完成文本生成和机器翻译等任务。我们的数据是一篇篇文章中的单词序列，而单词无法作为输入进行文本分析。首先想到的是用onehot编码表示单词，这样确实初步解决了文本数据的输入问题，但是这样会造成两个问题。 1. 文本数据中单词数量达到百万级以上时，onehot编码占用大量计算资源和存储资源。 2. 文本中上下文单词是有内在联系的，onehot无法表示单词相似度等关系。为了解决这两个问题，文本达到一定数量级(如百万)时，我们可以

2021-08-02 16:36:32 1690

悠哉的咸鱼的博客