本文介绍了循环神经网络（RNN）的基础知识，包括其在处理序列信息时的优势，以及在自然语言处理领域的应用，如语言模型。RNN通过记住历史输入来处理上下文信息，解决了传统N-Gram模型的问题。文中还探讨了基本RNN、双向RNN和深度RNN的结构，并简要讲解了RNN的训练算法BPTT。最后，提到了RNN存在的梯度爆炸和消失问题，以及解决方案。
在前面的文章系列文章中，我们介绍了全连接神经网络和卷积神经网络，以及它们的训练和使用。他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。
比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列；当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。这时，就需要用到深度学习领域中另一类非常重要神经网络：循环神经网络(Recurrent Neural Network)。RNN种类很多，也比较绕脑子。
不过读者不用担心，本文将一如既往地对复杂的东西剥茧抽丝，帮助您理解RNN以及它的训练算法，并动手实现一个循环神经网络。
语言模型
订阅专栏 解锁全文
扫一扫
870
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
