weixin_43282288的博客

为了解决RNN中出现的问题(梯度消失和弥散)，所以有LSTM长短时记忆网络总体框架将LSTM分为一小部分一小部分RNN最大的问题就是不会忘记，LSTM会决定，选择有价值的保留，没价值的舍弃，需要设定控制参数。比如[0,0.5,1]，0舍弃，0.5部分保留，1保留，那么C是如何做到的？x号表示门，sigmoid和乘的操作整个LSTM网络...

递归神经网络目的是为了利用中间信息(feature)，中间信息的保留，例如，“我出生在中国，所以我说中国话”,“说"后面可以跟很多词，但是如果已知出生在中国，那么"中国话"这个词的预测概率就会大幅上升。1先对话分词，将分词结果往里输入，当做RNN每一步的输入值，当然，每一步的中间结果并不是一定要追求的，目的是最后的输出结果，比如"我"并不是重要的，重要的是"说”，RNN适用于自然语言处理R...

1、下载维基百科datahttps://dumps.wikimedia.org/zhwiki/20190820/zhwiki-20190820-pages-articles.xml.bz2也可以下下面的小的2、将bz2内容提取出来确保安装了gensim pip install gensim#!/usr/bin/env python# -*- coding: utf-8 -*-#...

常用、流行的词嵌入方法，就是Word2Vec。这是Tomas Mikolov在谷歌工作时发明的一类方法，也是由谷歌开源的一个工具包的名称。具体来说，Word2Vec中涉及到了两种算法，一个是CBOW一个是Skip-Gram。这也是因为深度学习流行起来之后，基于神经网络来完成的Word Embedding方法。当前Deep Learning在NLP领域的三个阶段为还有BERT的变形ALBERT...

个人理解embedding是为了降维One hot编码有很多无意义的值我们知道训练神经网络就是要学习每个连接线的权重。如果只看第一层的权重，下面的情况需要确定43个连接线的关系，因为每个维度都彼此独立，girl的数据不会对其他单词的训练产生任何帮助，训练所需要的数据量，基本就固定在那里了。我们这里手动的寻找这四个单词之间的关系 [公式] 。可以用两个节点去表示四个单词。每个节点取不同值时的...