![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
Madname
这个作者很懒,什么都没留下…
展开
-
长短时记忆网络LSTM(基本理论)
为了解决RNN中出现的问题(梯度消失和弥散),所以有LSTM长短时记忆网络 总体框架 将LSTM分为一小部分一小部分 RNN最大的问题就是不会忘记,LSTM会决定,选择有价值的保留,没价值的舍弃,需要设定控制参数。 比如[0,0.5,1],0舍弃,0.5部分保留,1保留,那么C是如何做到的? x号表示门,sigmoid和乘的操作 整个LSTM网络 ...原创 2019-10-30 21:13:34 · 473 阅读 · 0 评论 -
循环神经网络RNN(基本理论)
递归神经网络目的是为了利用中间信息(feature),中间信息的保留,例如,“我出生在中国,所以我说中国话”,“说"后面可以跟很多词,但是如果已知出生在中国,那么"中国话"这个词的预测概率就会大幅上升。 1先对话分词,将分词结果往里输入,当做RNN每一步的输入值,当然,每一步的中间结果并不是一定要追求的,目的是最后的输出结果,比如"我"并不是重要的,重要的是"说”,RNN适用于自然语言处理 R...转载 2019-10-30 20:44:14 · 197 阅读 · 0 评论 -
Gensim构造词向量模型
1、下载维基百科data https://dumps.wikimedia.org/zhwiki/20190820/ zhwiki-20190820-pages-articles.xml.bz2 也可以下下面的小的 2、将bz2内容提取出来 确保安装了gensim pip install gensim #!/usr/bin/env python # -*- coding: utf-8 -*- #...原创 2019-09-05 11:13:50 · 896 阅读 · 1 评论 -
word2vec
常用、流行的词嵌入方法,就是Word2Vec。这是Tomas Mikolov在谷歌工作时发明的一类方法,也是由谷歌开源的一个工具包的名称。具体来说,Word2Vec中涉及到了两种算法,一个是CBOW一个是Skip-Gram。这也是因为深度学习流行起来之后,基于神经网络来完成的Word Embedding方法。 当前Deep Learning在NLP领域的三个阶段为 还有BERT的变形ALBERT...原创 2019-12-10 15:24:07 · 113 阅读 · 0 评论 -
Word Embedding
个人理解embedding是为了降维 One hot编码有很多无意义的值 我们知道训练神经网络就是要学习每个连接线的权重。如果只看第一层的权重,下面的情况需要确定43个连接线的关系,因为每个维度都彼此独立,girl的数据不会对其他单词的训练产生任何帮助,训练所需要的数据量,基本就固定在那里了。 我们这里手动的寻找这四个单词之间的关系 [公式] 。可以用两个节点去表示四个单词。每个节点取不同值时的...原创 2019-10-16 17:19:50 · 187 阅读 · 0 评论