NLP
Walter Wu
衣带渐宽终不悔; 为伊消得人憔悴。
展开
-
GRU和LSTM的单元结构
在循环神经网络中GRU和LSTM有着非常重要的地位。其中LSTM的出现时间是要早与GRU的。GRU是对LSTM的简化。GRU的单元结构中包含两个门:回忆门r(t), 更新门z(t)。其结构如下 LSTM的单元结构与GRU相比更为复杂,包含有三个门:f(t)遗忘门,o(t)输出门, i(t)输入门。...原创 2018-12-04 20:34:28 · 1235 阅读 · 0 评论 -
词嵌入 word2vec
1. 在自然语言处理中,对词的量化是一个非常重要的环节, 原始对词的量化方法是使用的one-hot方法,其定义如下。one-hot: 存在一个词汇量为10000的语料库,如果man 这个单词在预料库中出现的位置为5391。那么man这个函数就被表示为 向量的维度为10000,1的位置是在5391,其他位置都为0。但...原创 2018-12-12 21:08:03 · 190 阅读 · 0 评论 -
双向循环网络 AND 深层循环网络
双向循环网络应用例子 句子1: he is Tom Wody,one human。 句子2:he is Tom cat, one animal。 he is Tom___ 如果想要知道空格是cat还是Wody,则需要,了解空格后的语句是human还是animal。 由于普通网络传递的单向性, 是不能够训练处一个网络来预测空格中单词的。双向循环网络就在这种情况...原创 2018-12-09 13:16:48 · 503 阅读 · 0 评论 -
skip-gram; 负采样
skip-gram是上一个博客中所说的Word2vec 的方法,他们都是使用模型来训练一个嵌入矩阵E。skip-gram假设有一句话为 i like playing basketball. 那么skip-gram 要做的就是在这句话中选择出一个上下文词,假设这个词为playing。 然后再给定一个数字n(窗口),在上下文词的前n个词与后n个词。中间选择出目标词。 比如假如数字给定为2的话...原创 2018-12-14 21:33:23 · 1531 阅读 · 0 评论 -
机器翻译 :seq2seq
seq2seq: 机器翻译的模型与其他语言模型的不同之处在于,机器翻译的模型是由编码器和解码器两部分组成。两个部分都需要进行训练。其中解码器我们有时候也称为特征提取器。seq2seq模型结构如下图所示 其中绿色部分为编码器(特征提取器),紫色部分为解码器。若有句子 : i like apple 翻译为: 我 喜欢苹果其中i li...原创 2018-12-16 17:08:09 · 364 阅读 · 0 评论