Tensorflow创建循环神经网络

最新推荐文章于 2022-06-20 10:58:53 发布

SummmerSnow

最新推荐文章于 2022-06-20 10:58:53 发布

阅读量2.3k

点赞数 1

分类专栏： tensorflow 机器学习自然语言处理文章标签：深度学习 tensorflow

本文链接：https://blog.csdn.net/u011415481/article/details/72757980

版权

本文介绍了如何在TensorFlow中实现RNN细胞和创建循环神经网络，包括GRUCell的实现，以及如何构建RNN结构，如BasicLSTMCell、双向RNN和应用dropout的技巧。

摘要由CSDN通过智能技术生成

虽然已经接触deep learning很长一段时间了，也看了很久rnn相关的代码，但是突然想用tensorflow实现一些功能的时候，突然发现丝毫没有头绪，找了一些资料，学习了一波，记录一下。

一、tensorflow实现RNN cell

tensorflow由于不同的版本改动较大，在1.0版本之后，可以使用如下语句来创建一个cell：
from tensorflow.contrib import rnn
cell_fun = rnn.GRUCell(rnn_hidden_size)

在tensorflow中，上述GRUCell的实现如下（可以在GitHub上看到源码）：

class GRUCell(RNNCell):
  """Gated Recurrent Unit cell (cf. http://arxiv.org/abs/1406.1078)."""

  def __init__(self, num_units, input_size=None, activation=tanh):
    if input_size is not None:
      logging.warn("%s: The input_size parameter is deprecated.", self)
    self._num_units = num_units
    self._activation = activation

  @property
  def state_size(self):
    return self._num_units

  @property
  def output_size(self):
    return self._num_units

  def __call__