RNN LSTM GRU介绍

最新推荐文章于 2024-09-01 17:15:48 发布

舟

最新推荐文章于 2024-09-01 17:15:48 发布

阅读量1.1k

点赞数

分类专栏：推荐系统模型

本文链接：https://blog.csdn.net/cqlboat/article/details/103946708

版权

本文介绍了序列数据的建模方法，重点讲解了RNN、LSTM和GRU。RNN通过隐状态处理序列问题，但易受梯度消失影响。LSTM通过门控机制解决这一问题，包含细胞状态和隐藏状态，适用于长序列。GRU作为LSTM的简化版，训练更高效，同样包含门控机制，用于平衡记忆与遗忘。

摘要由CSDN通过智能技术生成

RNN

在实际应用中，我们会遇到很多序列形的数据
为了建模序列问题，RNN引入了隐状态h（hidden state）的概念，h可以对序列形的数据提取特征，接着再转换为输出。
在这里插入图片描述
每一步使用的参数U、W、b都是一样的，也就是说每个步骤的参数都是共享的，这是RNN的重要特点

class BasicRNNCell(RNNCell):
  """The most basic RNN cell.
  Args:
    num_units: int, The number of units in the RNN cell.
    activation: Nonlinearity to use.  Default: `tanh`.
    reuse: (optional) Python boolean describing whether to reuse variables
     in an existing scope.  If not `True`, and the existing scope already has
     the given variables, an error is raised.
  """

  def __init__(self, num_units, activation=None, reuse=None):
    super(BasicRNNCell, self).__init__(_reuse=reuse)
    self._num_units = num_units
    self._activation = activation or math_ops.tanh
    self._linear = None

  @property
  def state_size(self):
    return self._num_units

  @property
  def output_size(self):
    return self._num_units

  def call(self, inputs, state):
    """Most basic RNN: output = new_state = act(W * input + U * state + B)."""
    if self._linear is None:
      self._linear = _Linear([inputs, state], self._num_units, True)

    output = self._activation(self.