![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
NLP
流浪码工
这个作者很懒,什么都没留下…
展开
-
预训练语言模型--transformer
目录一.背景二.transformer编码器1.transformertransformertransformer模型直觉,建立直观认识;1.1transformer的流程1.2transformer-encoder部分2. positional encodingpositional \ encodingpositional encoding, 即位置嵌入(或位置编码);(==...原创 2019-11-13 13:23:46 · 2273 阅读 · 0 评论 -
循环神经网络--GRU
这里我们首先来看一下GRU是如何将LSTM的三个门简化成两个门的结构的:这里的rrr门(r门这里同样是一个激活函数)控制的是上一个时间戳的状态st−1s_{t-1}st−1对我们的当前时间戳状态sts_tst的一个影响,r的取值范围依旧是在0到1之间,也就是说,当你的r门全部关闭(r = 0)的时候,就意味着将上一个时间戳上的状态复位了,从0开始;如果r门全部打开(r = 1)的时候,就...原创 2019-11-12 08:51:45 · 457 阅读 · 0 评论 -
循环神经网络--RNN GRU LSTM 对比分析
一.全连接层、CNN、RNN三种网络结构的分析对于全连接网络:理论上全连接网络可以处理所有的问题,但是对于有些问题,全连接网络的效率非常差,所以对于一些特定的问题要使用更加有效的网络结构。对于图片这样的2维信息处理,毫无疑问CNN会更有优势。对于有着明显的前后关系的序列数据,比如说随着时间变化的数据,当使用RNN对其进行处理的时候,也会有着巨大的优势。1.CNN应用举例现实生活中这...原创 2019-11-10 18:14:53 · 3256 阅读 · 0 评论 -
循环神经网络---LSTM
一.LSTM出现的背景(可不看)首先来看它为什么叫做LSTM网络。因为对于传统的RNN网络来说,它会出现的一个问题就是:它的Memory记忆的时间序列会比较短,比如说当你去翻译一句话的时候,你可能一次只能记住3个语境相关的单词,虽然我们设计的时候是有一个语境的buffer在里边,即使我们的Memory会记住你的整个句子的语境,但是实际上做的时候就会发现它只能记住最近的那部分相关的语境th...原创 2019-11-11 23:01:58 · 1131 阅读 · 0 评论 -
全连接层--初阶文本分类
文本分类项目实战:电影评论(TensorFlow2.0)本文会将文本形式的影评分为“正面”或“负面”影评。这是一个二元分类(又称为两类分类)的示例,也是一种重要且广泛适用的机器学习问题。我们将使用包含来自网络电影数据库的50,000条电影评论文本的IMDB数据集,这些被分为25,000条训练评论和25,000条评估评论,训练和测试集是平衡的,这意味着它们包含相同数量的正面和负面评论。本章节使...原创 2019-11-10 18:35:56 · 1705 阅读 · 0 评论 -
循环神经网络--RNN--Sequence(时间序列)
SequenceSequence的含义:一种有时间先后关系的数据类型如何表示Sequence?那么如何表示这样的Sequence,也就是这样的一个序列信号呢?表示的过程本质上就是一个string类型向数值类型的转换, 使用一个n维的向量来表示一个string类型的词/字。因为数值和文本本身没有一一对应的关系在里边,而且文本它是有一个语义的,但却没有一个大小关系,但是我们的数值它是有一个...原创 2019-10-30 14:21:06 · 3390 阅读 · 0 评论