当代深度学习模型介绍--门控循环单元（GRUs）

Amy_bj

于 2024-03-31 16:00:00 发布

阅读量592

点赞数 22

分类专栏： AI大模型文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/Amy_bj/article/details/137167397

版权

AI大模型专栏收录该内容

21 篇文章 0 订阅

订阅专栏

AI大模型学习

方向一：AI大模型学习的理论基础

模型和应用的多样化：随着研究的深入，深度学习领域出现了多种创新的模型架构：

卷积神经网络（CNNs）专门针对图像处理任务进行了优化，通过模拟生物视觉系统的工作原理，极大地提高了图像识别和分类的准确度。
循环神经网络（RNNs）和它们的改进版本，如长短期记忆网络（LSTMs）和门控循环单元（GRUs），则专门用于处理序列数据，如文本和时间序列，有效捕捉数据中的时间关系和顺序信息。
最近，Transformer模型和它的变体（如BERT、NLP、GPT系列）在处理自然语言处理任务方面取得了显著的成就，它们的设计优化了数据中长距离依赖关系的捕捉，极大地提升了机器翻译、文本生成和理解的能力。

门控循环单元（Gated Recurrent Unit, GRU）是一种特殊的循环神经网络（RNN），类似于长短期记忆网络（LSTM），但结构上更为简化。GRU由Cho等人在2014年提出，旨在解决标准RNN在处理长序列数据时的梯度消失问题，同时尝试减少LSTM的计算复杂性。GRU通过引入更新门（Update Gate）和重置门（Reset Gate）来控制信息的流动，这使得它能够有效地保持长期依赖关系并减少参数数量，提高计算效率。

GRU的核心机制

GRU的核心在于其两个门控机制：

更新门（Update Gate）：
- 决定了来自前一状态的信息有多少应该被保留下来。
- 更新门帮助模型决定在当前单元状态中保持多少之前的记忆。如果更新门接近1，表示之前的记忆将被大量保留；如果接近0，则新的输入将有更多的影响。
重置门（Reset Gate）：
- 决定了多少过去的信息需要被忘记。
- 重置门用于决定在生成当前候选隐藏状态时，应该丢弃多少过去的信息。如果重置门的值接近0，那么之前的隐藏状态将被忽略，使得模型不考虑之前的输出。

GRU的运作流程

在每个时间步，GRU单元通过以下步骤更新其状态：

计算更新门：
- 更新门使用当前输入和前一隐藏状态来决定保留多少之前的状态信息。
- 更新门的计算涉及当前输入和前一时间步隐藏状态的线性组合，然后通过sigmoid函数，保证输出值在0和1之间。
计算重置门：
- 重置门同样使用当前输入和前一隐藏状态，通过sigmoid函数决定忘记多少过去的信息。
计算候选隐藏状态：
- 候选隐藏状态是根据重置门的指示，部分地忘记前一隐藏状态，同时加入当前时间步的新信息。
- 这个过程涉及到重置门与前一隐藏状态的相乘（允许模型丢弃无关的信息），然后加上当前输入，最后通过tanh函数以保持输出值在-1和1之间。
计算最终隐藏状态：
- 最终的隐藏状态是由更新门来调控的，它决定了保留多少旧的隐藏状态和多少新的候选隐藏状态。
- 这一步涉及到更新门、前一隐藏状态以及新的候选隐藏状态的线性组合，确保模型能在保留长期记忆的同时融入新的信息。