【深度学习】深度学习之LSTM

LSTM是深度学习领域一个非常受欢迎的模型，它被用以解决各种各样的问题。在交通领域，LSTM被广泛应用于道路、航空、铁路等各个方面的研究，例如基于LSTM建立车辆跟驰模型，利用LSTM进行短期交通流预测，公交车到站时间预测、共享单车需求预测、铁路客运量预测以及航空延误预测等等。本周，交通科研Lab将对LSTM的基础理论进行介绍，并以航空延误预测为例讲解如何建立LSTM模型。

今天先为大家介绍一下LSTM模型的相关理论。

注：以下内容是对书籍、博客以及论文中的相关介绍的整理。

LSTM网络的全称是“Long Short Term Memory networks”，中文名叫“长短期记忆网络”，是一种改进版的RNN。所以，在介绍LSTM之前，先来了解一下RNN。

RNN

在实际生活中，我们所面临的很多问题都是具有顺序性的。比如说，你在阅读文章的时候，都是通过联系上文来理解你当前看到的词的真正含义。但是传统的人工神经网络并不会根据先前信息来对之后的信息进行推断。RNN（Recurent Neural Networks,递归神经网络）弥补了这一缺陷，它将神经元的输出再接回神经元的输入，使其具有“记忆力”，从而可以解决具有顺序性的问题。如下图所示，右图是将左图按照时间点展开得到的结果，图中共有3个时间点，依次是“t-1”“t”“t+1”。

图注

X是神经网络的输入，是t时间点神经网络的输入；

O是神经网络的输出，是t时间点神经网络的输出；

（U,V,W）是神经网络的参数，在展开图中W是t-1时间点的输出，但是作为t时间点的输入。

S是隐藏状态，代表着神经网络的“记忆”。在展开图中是t时间点神经网络的隐藏状态，它是当前时间点的输入、前一个时间点的隐藏状态以及参数U和W共同评估的结果。

然而，世界上没有十全十美的事物……RNN也不例外，虽然它有“记忆力”，但是，他的“记忆力”有点差。如果相关信息和当前预测的位置间隔很小，RNN可以学会使用先前信息，如果位置间隔很大，RNN就记不住了……为此深度学习专家Schmidhuber提出了LSTM模型。

LSTM

emmmm接下来有请哪吒给大家介绍一下LSTM模型！

感谢小爷~小爷讲的正是我想说的~

以上就是本期LSTM相关理论讲解的全部内容，下期将为大家介绍如何建立LSTM模型来预测航空延误。

emmm你们还有什么要补充或者要纠正的吗？欢迎大家来后台留言~

注：以上所用图片均来源于网络。

编辑：庄桢

往期精彩回顾




适合初学者入门人工智能的路线及资料下载(图文+视频)机器学习入门系列下载中国大学慕课《机器学习》（黄海广主讲）机器学习及深度学习笔记等资料打印《统计学习方法》的代码复现专辑
AI基础下载机器学习交流qq群955171419，加入微信群请扫码：