NLP
不吐桔子皮
这个作者很懒,什么都没留下…
展开
-
LSTM和GRU详细动图解释-转载
https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/82922386转载 2021-07-13 19:59:03 · 241 阅读 · 0 评论 -
论文笔记:(用于文本分类的图卷积网络)Graph Convolutional Networks for Text Classification
1.研究背景普通卷积神经网络研究的对象是具备规则空间结构的数据,如图片是规则的正方形,这些特征都可以用一维或二维的矩阵来表示,卷积神经网络处理起来比较高效。然而,生活中很多数据不具备规则的空间结构,他们有不同的节点,同时呢,节点之间又有联系。那么,就用到了图卷积网络。图数据有两个特点:每个节点有自己的特征;(点)图数据中的每个节点具有结构特征,即节点与节点存在一定的联系。(边)GCN的每次计算操作,都是把每个节点和它的相邻节点的信息聚集起来,所以特征每次抽取完都会更加抽象。2.TextGCN模型设原创 2020-06-13 23:21:00 · 2098 阅读 · 0 评论 -
NLP之Self-Attention和Transformer(通俗易懂的解释)
以下图片来自李宏毅老师的PPT截图,李宏毅老师的视频对这部分讲的很清楚,看了以后有了很清晰的认识。一、研究背景如下图所示,b1、b2、b3、b4、用Self-Attention可以同时计算,而在RNN中不能够同时被计算,即解决RNN无法并行化的问题。二、Self-Attention实现原理1、在把各个词送入Self-Attention之前先将其乘以一个特征矩阵,以特征化的表示各个单词,然后将其送入Self-Attention中(词嵌入的方法,Word embedding),即ai=Wxi,然后把不原创 2020-06-10 11:07:08 · 2014 阅读 · 1 评论 -
NLP常见预处理任务概述介绍
1.词性标注词性标注的输入是一个序列,输出的是每个词的词性,那么标注完以后再进行下游任务效果就会比直接把一段文字丢进去更好。下图为示例图:2.分词对于英文来说,单词间有空格,所以不需要分词,但是对于中文,在进行各种任务时需要对文本进行分词。如图所示:3.Coreference Resolution(指代消解)把同一个人或者事物标注出来,如下图例子:4.文本摘要(summarization)1.直接抽取出一些句子当做摘要2.机器用自己的话写摘要5.机器翻译输入文字或者语音输出原创 2020-06-09 21:24:55 · 495 阅读 · 0 评论 -
深度学习模型之LSTM(都能理解的LSTM原理详解)
一、循环神经网络(Recurrent Neural Network,RNN)循环神经网络(Recurrent Neural Network,RNN)相比一般的神经网络来说,他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义,那么RNN就能解决这类问题。来看一个简单的例子,对于RNN来说,对于输入的一句话,它的每一个单词输入完已有会存到一个记忆单元里面(图中蓝色的方框)参与下一个单词的输入,需要注意的是这是同一个神经网络,只不过是在三个不同的时间点被使用了三次。(注:以下图原创 2020-06-09 17:31:56 · 10145 阅读 · 0 评论