双向长短期记忆网络（Bi-LSTM）

最新推荐文章于 2024-08-11 12:10:46 发布

Xxsdn1的宝

最新推荐文章于 2024-08-11 12:10:46 发布

阅读量4.5w

点赞数 39

文章标签：自然语言处理深度学习神经网络机器学习

本文链接：https://blog.csdn.net/reedci/article/details/117707568

版权

本文介绍了循环神经网络（RNN）与递归神经网络的区别，并重点讲解了长短期记忆网络（LSTM）的结构和计算过程，解决了RNN的问题。接着，文章探讨了双向LSTM（Bi-LSTM）的工作机制，它通过正序和逆序输入序列来提升文本特征提取的效率和性能。

摘要由CSDN通过智能技术生成

在开始之前，首先区分下均命名为RNN，新手很容易混淆的两大神经网络：循环神经网络（Recurrent Neural Network，RNN）和递归神经网络（Recurssion Neural Network，RNN）。
递归神经网络（RNN）是空间上的展开，处理的是树状结构的信息，模型结构如下：
在这里插入图片描述

循环神经网络（RNN）是时间上的展开，擅长处理以时间序列数据作为输入的预测问题, 其原因在于 RNN 的网络结构可以处理时间序列数据之间的相关性。模型结构如图所示，包括输入层 x、隐藏层 h、输出层 o，在隐藏层 h 上有一个循环操作，同时 RNN 在所有时刻的线性关系参数 U、 W、 V 都是共享的, 极大地减少了参数训练量.。图 (b) 为 RNN 展开结构图, 可以看到 RNN 通过权值 W 实现隐藏层之间的依赖关系。
在这里插入图片描述