RNN
文章平均质量分 67
马天乐233
这个作者很懒,什么都没留下…
展开
-
Attention model-注意力模型
Attention model简单理解下注意力模型看上图,如果去掉注意力机制,直接将下面部分最后一个时间步的输出作为第一个上下文context,就是一般的RNN模型。这种模型的一个问题是,例如在做翻译的时候,一个很长的句子,人类很难一下子读完然后翻译,应该是读几个词翻译一下,即翻译出来的句子的前几个词与原句的前几个词关系更相关,注意力更关注前几个词,注意力机制做的也就是这个工作。每个上下文context,引入注意力机制后,它的值应该上个时间步的输出加上以注意力作为权重的Encoder的值之和。α&原创 2021-04-13 16:01:48 · 168 阅读 · 0 评论 -
word2vec
word2vec看吴恩达老师的视频学习到的,记个笔记。word2vec 的目标是根据两个词之间的关联训练 嵌入矩阵 E(Embedding Matrix),比如 orange-juice,这是一对,他们的关联-target就为1,orange-king的target-0。这样一对词,orange-juice,其中orange叫做 上下文 (context),它们之间的关联叫做target,非1则0.如上图,训练嵌入矩阵的过程是这样的,输入是一个单词的one-hot,如字典是10000个单词,输入就原创 2021-04-06 20:30:43 · 107 阅读 · 0 评论 -
GRU和LSTM
Gated Recurrent Unit看吴恩达老师的视频学习的GRU,我概括一下。看这句话The cat,which already ate…,was full.was这个单词显然与cat相关,若是cats,则应该是were。也就是说前后隔了很远的单词之间有依赖关系,基本的RNN网络无法处理这种关系,GRU就是处理这种依赖关系的。GRU的核心增加一个记忆单元,是当处理cat时,记住这个词,也就是记住可能对后面有用的单词,在处理which、already时,不更新这个记忆单元。下main看看怎么记忆原创 2021-04-02 20:22:15 · 121 阅读 · 0 评论