深度学习如何改进（四）

在前面的文章中我们给大家介绍了很多关于深度学习改进的知识，相信大家应该对深度学习已经有了一定的了解了。深度学习改进中涉及到的知识点很多，比如神经网络知识、循环神经网络知识等。那么在今天的这篇文章中，我们就给大家介绍一下循环神经网络的知识。

那么循环神经网络中需要解决什么问题呢？其实就是上下文场景记忆的问题。我们在前面的文章中提到的神经网络模型都不能解决“记忆暂存功能”，也就是对比较远期输入的内容无法进行量化，与当前内容一起反应到网络中进行训练，循环神经网络可以解决，在自然语言处理中也应用最广泛。其实循环神经网络实现上下文场景记忆的时候我们无法忽略的一个基础是，那就是隐马尔可夫模型。

在隐马尔可夫模型中，有一个重要的内容那就是马尔可夫链。那么这个马尔科夫链的核心是什么呢？马尔可夫链的核心是：在给定当前知识和信息的前提下，观察对象过去的历史状态，对将来的预测来说是无关的。在循环神经网络中，隐含状态下的马尔可夫链会处理神经元之间的信息传递。但是理论上循环神经网络是行得通的，但在实践上工程师们发现训练效果并不佳，所以现在用了长短期记忆网络来取代传统的循环神经网络。长短期记忆网络规避了传统循环神经网络中遇到的问题，并启动了一个有效的机制，那就是忘记门，在训练过程中长短期记忆网络会把有潜在影响的关系学习，忽略无效的关系。而长短期记忆网络目前应用在翻译器、聊天机器人、分类器等场景。

那么循环神经网络有什么局限性的呢？说到局限性，训练过程中，目前只支持相对固定、边界划定清晰的场景，长短期记忆网络对多场景问题也是无能为力的。而深度残差网络要解决的问题是传统深度学习网络中，网络到一定深度后，学习率、准确率下降的问题。目前，DRN在图像分类、对象检测、语义分割等领域都有较好的识别确信度。这一点和循环神经网络完全不一样。

在这篇文章中我们简单给大家介绍了循环神经网络的知识，对于这些知识我们不难发现这些神经网络通过改进解决了不少的问题，但是同样都具有了局限性，所以我们要好好的利用这些方法，这样我们才能够解决我们的问题。