RNN
谁画你多情华发
悲催的debug工程师
展开
-
RNN的BPTT算法中的梯度消失问题
参考资料链接:https://zhuanlan.zhihu.com/p/22338087随时间的反向传播(BPTT)让我们先迅速回忆一下RNN的基本公式,注意到这里在符号上稍稍做了改变(变成),这只是为了和我参考的一些资料保持一致。同样把损失值定义为交叉熵损失,如下:这里,表示时刻正确的词,是我们的预测。通常我们会把整个句子作为一个训练样本,所以总体错误是每一时刻的错误的加和。...转载 2018-07-23 20:28:26 · 813 阅读 · 2 评论 -
RNN的几种类型
转载 2018-07-19 23:21:38 · 2309 阅读 · 0 评论 -
tensorflow实现seq2seq模型中decoder出现ValueError: Dimensions must be equal, but are 512 and 277 for 'Decode
参考资料:https://www.xszz.org/faq-2/question-2018101955896.html原代码def decoder_lstm_based(h_decoder_in, encoder_final_state): cell_1 = tf.contrib.rnn.BasicLSTMCell(config.n_hidden, activation=tf.n...原创 2019-05-31 18:59:39 · 2869 阅读 · 1 评论