RNN
RNN介绍和实战记录
西檬饭
这个作者很懒,什么都没留下…
展开
-
实战-逐步实现seq2seq+attention
实战来自慕课网《Google工程师亲授 Tensorflow2.0-入门到进阶》,这里是实现笔记和摘录。这个实战主要使用一个seq2seq+attention机制实现机器翻译。着重分析每一步的实现过程和细节的分析。数据处理实战使用的是英语转西班牙语语料。预处理Unicode转为ASCII码西班牙语的一些字符使用Unicode格式编码,由于使用Unicode编码格式得到的词表大,将其转...原创 2020-04-27 18:31:44 · 734 阅读 · 5 评论 -
RNN 训练过程中tricks
1. 初始化正交初始化比全零初始化效果好。下面初始化一个双向RNN: lstm_fw_cell = tf.nn.rnn_cell.LSTMCell(num_units=nhidden, forget_bias=1.0, initializer=tf.orthogonal_initializer()) lstm_bw_cell = tf.nn.rnn_cell.LSTMCell(...原创 2019-02-14 20:57:35 · 550 阅读 · 0 评论 -
Understanding LSTM Networks 译文
本文由Neil Zhu翻译,简书ID Not_GOD,University AI 创始人 & Chief Scientist , 译文原文 理解 LSTM 网络本文译自 Christopher Olah 的博文Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时...转载 2018-09-12 11:12:16 · 231 阅读 · 0 评论 -
LSTM基础
LSTM BASICSunderstand the benefits and problems it solves, and its inner workings and calculations. 1.The Problem to be SolvedRNN’s Problem computationally expensive to maintain the state f...原创 2018-09-04 08:49:03 · 363 阅读 · 0 评论 -
如何构建RNN神经网络的输入
普通的RNN:因为这个箭头上图左边的箭头难以理解,所以将其按照时间轴展开成多个单元。网络是同一个,只不过不同的时间有不同的输入,每个时刻都会产生二个输出,一个output和一个state。但是容易造成了一些误解。全连接成的输入图出自: https://zhuanlan.zhihu.com/p/36455374对于时间序列,引入时间步的概念:Xt表示时间步(time_step),每个时...原创 2019-02-13 19:29:21 · 5923 阅读 · 0 评论 -
多层 LSTM的实现
前言: 根据我本人学习 TensorFlow 实现 LSTM 的经历,发现网上虽然也有不少教程,其中很多都是根据官方给出的例子,用多层 LSTM 来实现 PTBModel 语言模型,比如: tensorflow笔记:多层LSTM代码分析 但是感觉这些例子还是太复杂了,所以这里写了个比较简单的版本,虽然不优雅,但是还是比较容易理解。如果你想了解 LSTM 的原理的话(前提是你已经理解了普...转载 2019-02-13 20:10:51 · 13368 阅读 · 0 评论 -
bidirectional_dynamic_rnn和static_bidirectional_rnn实现Bidirectional_RNN
本文作者: Yu Li, Algorithm Developer & Designer本文链接: http://sthsf.github.io/2017/08/31/Tensorflow基础知识-bidirectional-rnn/ 写在前面最近在做一些自然语言处理demo的时候遇到了双向RNN,里面的bidirectional_dynamic_rnn和static_bidirecti...转载 2019-02-14 10:41:49 · 1734 阅读 · 0 评论