45、循环神经网络的应用探索

循环神经网络的应用探索

1. 循环神经网络概述

循环神经网络（RNN）在众多领域有着广泛的应用。为了便于解释和图示说明，很多时候会使用单层循环网络，但在实际应用中，多层长短期记忆网络（LSTM）或双向LSTM更为常用，因为它们能提供更好的性能。而且，在各种应用场景中，用多层或双向LSTM替代单层RNN是比较简单直接的。

2. 自动图像字幕生成

• 训练数据与学习方式 ：图像字幕生成的训练数据是图像 - 字幕对。例如，一张来自美国国家航空航天局网站的图片，其字幕为“宇宙冬日仙境”。可能会有数十万这样的图像 - 字幕对，用于训练神经网络的权重。训练完成后，就可以对未知的测试图像预测字幕，这可以看作是一种图像到序列的学习。
• 卷积神经网络的作用 ：自动图像字幕生成需要一个单独的神经网络来学习图像的表示，常用的是卷积神经网络（CNN）。CNN会输出一个q维向量v作为图像的表示，这个向量仅在第一个时间步作为输入传入神经网络。为了处理这个额外输入，需要一个p × q的矩阵Wih，将图像表示映射到隐藏层。
• 更新方程的修改 ：
  • (h_1 = \tanh(W_{xh}x_1 + W_{ih}v))
  • (h_t = \tanh(W_{xh}x_t + W_{hh}h_{t - 1}) \quad \forall t \geq 2)
  • (y_t = W_{hy}h_t)
• 联合训练