![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言
文章平均质量分 59
bing_lan_zhang
这个作者很懒,什么都没留下…
展开
-
RNN
1.在Vanilla RNN中做djdθ,是为了反向梯度计算;做djdx实际上是前一步的djdy。原创 2018-02-27 16:43:24 · 172 阅读 · 0 评论 -
Seq2seq 理解
注:这篇文章是根据小象学院史兴老师自然语言课程,加上自己的理解。方便日后复习。一,模型,其是一个结构化预测。F:input sequence /source sequenceE:output sequence/target sequence二,模型示意图图示说明:1)encode和decoder的参数不同;2)h,c是中间向量;3)每一层的lstm参数不同,同一层的参数相同;4)可以拿中间变量来做...翻译 2018-03-01 21:54:11 · 696 阅读 · 1 评论 -
Tensorflow常用接口整理
一、变量相关。tf.get_variable() 和 tf.Variable()是tensorflow中创建变量的两种方式。每调用一次这两个函数,实际上创建的就是一组变量集(节点集) 1)tf.get_variable()和tf.variable_scope()配合,可以用作变量复用,也可以起到变量区分(作用域分割) 2)tf.Variable(<variable...原创 2018-03-03 21:53:41 · 2523 阅读 · 0 评论 -
LSTM理解
from 博客 在rnn中存在梯度消失和梯度爆炸的问题。 梯度爆炸解决办法: 上图 梯度爆炸解决办法:引入lstm一、LSTM(Long-Short Term memory)的结构 二、计算值说明 ft:forget gate it: input gate ...原创 2018-04-06 11:11:49 · 1111 阅读 · 0 评论