逐步分解，带你理解LSTM原理

首先给出几个非常好的相关博客链接：

1：    https://www.jianshu.com/p/d6714b732927 

2：http://colah.github.io/posts/2015-08-Understanding-LSTMs/

3：https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/82922386

4： https://www.cnblogs.com/jiangxinyang/p/9362922.html 

在深度学习中，RNN已经成为标准组件，很多领域都要用到，LSTM则是最经典的RNN结构。所以面试时是必问的，最基本的面试题就是要说清楚LSTM的结构。本文试图对其结构进行浅显易懂的介绍，主要参考的是这篇文章：http://colah.github.io/posts/2015-08-Understanding-LSTMs/如果你已经看过，就没必要看本文了。如果你觉得看完后还是有些疑惑，那么本文就是你需要的。

1从Cell State开始

在下面的过程中，我们总是用语言模型作为例子来说明，心中始终有个具体例子对照，可以大大减轻理解上的困难。

来看这句话：“我是中国人，我会说中文”，我们的任务是根据这句话前面的内容，预测最后的两个字“中文”。要做到这一点，模型必须能够记住前面的信息，尤其是“中国人”。在LSTM中，记住前面的信息是通过Cell State来实现的。
所以，在理解LSTM的结构时，应始终以 Cell State为中心，这样就抓住了理解其结构的关键。

先来看一张LSTM的完整结构图，然后我们再来一步步从Cell State开始分析里面的内容。

完整图如下：

 

2Cell State的传递主线

Cell State好比一个记忆器，当你不断往cell里面输入数据时，它会不断变化，来记住之前输入的信息，这种记忆并不是机械式的，而是有选择地记忆的。下面我们就来看看它是如何选择性记忆的。

Cell State 的传递过程如下所示：

{

元胞状态有点像是传送带，它直接穿过整个链，同时只有一些较小的线性交互。上面承载的信息可以很容易地流过而不改变。

LSTM有能力对元胞状态添加或者删除信息，这种能力通过一种叫门的结构来控制。

门是一种选择性让信息通过的方法。它们由一个Sigmoid神经网络层和一个元素级相乘操作组成。

Sigmoid层输出0~1之间的值，每个值表示对应的部分信息是否应该通过。0值表示不允许信息通过，1值表示让所有信息通过。一个LSTM有3个这种门，来保护和控制元胞状态。

}

 

 

我们看到，当xt输入到Cell中后，Cell State 从Ct-1变到了Ct。

C是一个向量，向量的维度是我们自己来选择的，如果我们选256，就表示我们想要用256位来保存记忆信息，这个维度越大，相当于记忆的容量越大，可保存的信息自然越多，但是需要训练的参数也会越多。

我们看到，Ct-1到Ct共经过了两步操作，第一步是一个point wise 的乘法操作，第二步是一个point wise的加操作。第一步是忘记一些不再有用的记忆，第二步是把xt中有用的信息加到记忆中。

来看这句话：“小丽是一个女孩，她唱歌很好，小明是一个男孩，他篮球很好。”我们的模型要预测她，他两个代词。当预测第一个时，我们希望Cell State能记住之前的小丽是女孩的信息，当预测第二个时，我们希望Cell State清除掉之前记住的女孩的信息，将小明是男孩的信息记住，这样在预测时才会正确。

做到这一点，正是靠着上面提到的两步，我们分别详细看看。

1第一步详解

第一步的具体过程如图所示：

 

 

{

LSTM的第一步是决定我们将要从元胞状态中扔掉哪些信息。该决定由一个叫做“遗忘门(Forget Gate)”的Sigmoid层控制。

中的每一个元素，输出一个0~1之间的数。1表示“完全保留该信息”，0表示“完全丢弃该信息”。

}

这里出现了ht-1，ht-1是输出，它也是来自于Ct-1，只不过多了一层计算。可以将它理解为基于Ct-1给出的预测。以“小丽是一个女孩，她唱歌很好”为例，当Cell接收到输入“小丽是一个女孩”时，Cell State中存储了小丽是女孩这一信息，所以下面预测的代词就会是“她”。在这个例子中，“小丽是女孩”就是Ct-1，“她”就是ht-1。ht-1和Ct-1的向量位数是相同的。

ft就是要和Ct-1进行point wise乘的向量，如果Ct-1是s位，那么，ft自然也要是s位。看上图右边的公式，我们自然可以算出，Wf的行数必须s，它的列数=s+ xt的位数。总的参数个数是：s*（s + xt的位数），可见，Wf的规模是和s的大小直接相关的，这就是刚才说过的，s越大，虽然保存的信息也会越多，但是模型的参数规模也会按照平方级别上升。bf的位数也是s。

最外面的sigma表示对s位的向量的每一位都做sigmoid运算，以便将共s位的ft中的每一位都约束到0和1之间。

这样ft与Ct-1相乘时，ft中接近0的位表示将Ct-1相应的位的值进行清除，ft中接近1的位表示将Ct-1相应的位的值进行保留。

这就是第一步的操作，对原有的记忆信息进行选择性保留和遗忘。

2第二步详解

第二步的目的就是将新的信息加入到Cell State中，如下图所示：

 

{

第二步是决定我们将会把哪些新信息存储到元胞状态中。这步分为两部分。首先，有一个叫做“输入门(Input Gate)”的Sigmoid层决定我们要更新哪些信息。接下来，一个tanh层创造了一个新的候选值，该值可能被加入到元胞状态中。在下一步中，我们将会把这两个值组合起来用于更新元胞状态。

}

这个过程又分为两步：第一步是将xt中的信息转换为和Ct-1一样长度的向量，这个过程就是上图中下面的带波浪线的Ct所做的事情，第二步就是将带波浪线的Ct也进行一个信息筛选，筛选后的信息才最终会加到Ct中。这个信息筛选功能就是通过和it进行point wise 的相乘来实现的，这和上面的ft非常相似。ft就表示forget，it就表示input，一个对原有信息进行筛选，一个对新的信息进行筛选。

好了，下面就是要把两部分筛选的信息合并到一起：

 

 

至此，我们的Ct-1成功地进化到了Ct，还有一件事没有做，就是要根据Ct产生本步的预测ht。下面就来看看。

3根据Ct产生ht

这个过程如下所示：

 

{

第三步最后，我们需要决定最终的输出。输出将会基于目前的元胞状态，并且会加入一些过滤。首先我们建立一个Sigmoid层的输出门(Output Gate)，来决定我们将输出元胞的哪些部分。然后我们将元胞状态通过tanh之后（使得输出值在-1到1之间），与输出门相乘，这样我们只会输出我们想输出的部分。

}

同样的，根据Ct产生ht时，我们也要经过一个筛选，这个筛选就由ot来承担，ot就是代表output的意思。同时，对Ct做了一个tanh的变换，目的是让其每一位都在-1和1之间。

那么我们来计算一下，如果Ct是s位，那么整个Cell的参数是多少呢？

ft、ot、it以及产生带波浪线的Ct时，都用到了矩阵，一共4个，对每一个矩阵，伴随的还有一个b的bias，它的位数也是s，所以，总的参数就是：

4 *s*（s + xt的位数 + 1）

由此可见，选择Ct的位数是一个非常关键的参数，它决定了模型的规模。

 

第二部分、代码实战

2.1 代码

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import MinMaxScaler
import keras
# from keras.models import Sequential
# from keras.layers import LSTM, Dense, Activation


def load_data(file_name, sequence_length=10, split=0.8):
    df = pd.read_csv(file_name, sep=',', usecols=[1])
    data_all = np.array(df).astype(float)
    scaler = MinMaxScaler()
    data_all = scaler.fit_transform(data_all)
    data = []
    for i in range(len(data_all) - sequence_length - 1):
        data.append(data_all[i: i + sequence_length + 1])
    reshaped_data = np.array(data).astype('float64')
    np.random.shuffle(reshaped_data)
    # 对x进行统一归一化，而y则不归一化
    x = reshaped_data[:, :-1]
    y = reshaped_data[:, -1]
    split_boundary = int(reshaped_data.shape[0] * split)
    train_x = x[: split_boundary]
    test_x = x[split_boundary:]

    train_y = y[: split_boundary]
    test_y = y[split_boundary:]

    return train_x, train_y, test_x, test_y, scaler


def build_model():
    # input_dim是输入的train_x的最后一个维度，train_x的维度为(n_samples, time_steps, input_dim)
    model = Sequential()
    model.add(LSTM(input_dim=1, output_dim=50, return_sequences=True))
    print(model.layers)
    model.add(LSTM(100, return_sequences=False))
    model.add(Dense(output_dim=1))
    model.add(Activation('linear'))

    model.compile(loss='mse', optimizer='rmsprop')
    return model


def train_model(train_x, train_y, test_x, test_y):
    model = build_model()

    try:
        model.fit(train_x, train_y, batch_size=512, nb_epoch=30, validation_split=0.1)
        predict = model.predict(test_x)
        predict = np.reshape(predict, (predict.size, ))
    except KeyboardInterrupt:
        print(predict)
        print(test_y)
    print(predict)
    print(test_y)
    try:
        fig = plt.figure(1)
        plt.plot(predict, 'r:')
        plt.plot(test_y, 'g-')
        plt.legend(['predict', 'true'])
    except Exception as e:
        print(e)
    return predict, test_y


if __name__ == '__main__':
    train_x, train_y, test_x, test_y, scaler = load_data('international-airline-passengers.csv')
    train_x = np.reshape(train_x, (train_x.shape[0], train_x.shape[1], 1))
    test_x = np.reshape(test_x, (test_x.shape[0], test_x.shape[1], 1))
    predict_y, test_y = train_model(train_x, train_y, test_x, test_y)
    predict_y = scaler.inverse_transform([[i] for i in predict_y])
    test_y = scaler.inverse_transform(test_y)
    fig2 = plt.figure(2)
    plt.plot(predict_y, 'g:')
    plt.plot(test_y, 'r-')
    plt.show()

2.2 数据

time,passengers
"1949-01",112
"1949-02",118
"1949-03",132
"1949-04",129
"1949-05",121
"1949-06",135
"1949-07",148
"1949-08",148
"1949-09",136
"1949-10",119
"1949-11",104
"1949-12",118
"1950-01",115
"1950-02",126
"1950-03",141
"1950-04",135
"1950-05",125
"1950-06",149
"1950-07",170
"1950-08",170
"1950-09",158
"1950-10",133
"1950-11",114
"1950-12",140
"1951-01",145
"1951-02",150
"1951-03",178
"1951-04",163
"1951-05",172
"1951-06",178
"1951-07",199
"1951-08",199
"1951-09",184
"1951-10",162
"1951-11",146
"1951-12",166
"1952-01",171
"1952-02",180
"1952-03",193
"1952-04",181
"1952-05",183
"1952-06",218
"1952-07",230
"1952-08",242
"1952-09",209
"1952-10",191
"1952-11",172
"1952-12",194
"1953-01",196
"1953-02",196
"1953-03",236
"1953-04",235
"1953-05",229
"1953-06",243
"1953-07",264
"1953-08",272
"1953-09",237
"1953-10",211
"1953-11",180
"1953-12",201
"1954-01",204
"1954-02",188
"1954-03",235
"1954-04",227
"1954-05",234
"1954-06",264
"1954-07",302
"1954-08",293
"1954-09",259
"1954-10",229
"1954-11",203
"1954-12",229
"1955-01",242
"1955-02",233
"1955-03",267
"1955-04",269
"1955-05",270
"1955-06",315
"1955-07",364
"1955-08",347
"1955-09",312
"1955-10",274
"1955-11",237
"1955-12",278
"1956-01",284
"1956-02",277
"1956-03",317
"1956-04",313
"1956-05",318
"1956-06",374
"1956-07",413
"1956-08",405
"1956-09",355
"1956-10",306
"1956-11",271
"1956-12",306
"1957-01",315
"1957-02",301
"1957-03",356
"1957-04",348
"1957-05",355
"1957-06",422
"1957-07",465
"1957-08",467
"1957-09",404
"1957-10",347
"1957-11",305
"1957-12",336
"1958-01",340
"1958-02",318
"1958-03",362
"1958-04",348
"1958-05",363
"1958-06",435
"1958-07",491
"1958-08",505
"1958-09",404
"1958-10",359
"1958-11",310
"1958-12",337
"1959-01",360
"1959-02",342
"1959-03",406
"1959-04",396
"1959-05",420
"1959-06",472
"1959-07",548
"1959-08",559
"1959-09",463
"1959-10",407
"1959-11",362
"1959-12",405
"1960-01",417
"1960-02",391
"1960-03",419
"1960-04",461
"1960-05",472
"1960-06",535
"1960-07",622
"1960-08",606
"1960-09",508
"1960-10",461
"1960-11",390
"1960-12",432