keras中使用LSTM实现一对多和多对多

• 一、前言

 1、TimeDistributed和Dense的使用
下面代码是keras里面给出的解释：

        # as the first layer in a model
        model = Sequential()
        model.add(TimeDistributed(Dense(8), input_shape=(10, 16)))
        # now model.output_shape == (None, 10, 8)

从上述代码中可以发现，TimeDistributed和Dense一起配合使用，主要应用于一对多，多对多的情况。

input_shape = (10,16)，表示步长是10，每一步的维度为16，（即：每一个数据的属性长度为16））

首先使用TimeDistributed（Dense（8），input_shape = (10,16)）把每一步的维度为16变成8，不改变步长的大小

若该层的批输入形状然后(50, 10, 16)，则这一层之后的输出为(50, 10, 8)

2、RepeatVector的使用

这个是keras官网给出的解释

```python
        model = Sequential()
        model.add(Dense(32, input_dim=32))
        # now: model.output_shape == (None, 32)
        # note: `None` is the batch dimension

        model.add(RepeatVector(3))
        # now: model.output_shape == (None, 3, 32)
    ```

解释：如果输入的形状为（None,32），经过添加RepeatVector(3)层之后，输出变为（None,3,32）,RepeatVector不改变我们的步长，改变我们的每一步的维数（即：属性长度）

• 二、一对多

from keras.models import Sequential
from keras.layers import LSTM,Dense,TimeDistributed,RepeatVector

batch_size = 50
n_in = 1
vector = 10
n_out = 5
model = Sequential()
model.add(LSTM(150, batch_input_shape=(batch_size, n_in, vector), stateful=True))
model.add(RepeatVector(n_out))
model.add(LSTM(150, return_sequences=True, stateful=True))
model.add(TimeDistributed(Dense(vector, activation='softmax')))
print(model.summary())

解释：输入的数据结构为（50,1,10），输出的数据结构为（50,5,10），实现了一对多

• 三、多对多

3.1、多对多之输入与输出的序列长度相同

 

from keras.models import Sequential
from keras.layers import LSTM, Dense, TimeDistributed, RepeatVector

batch_size = 50
in_steps = 10
in_vector = 10
out_vector = 100
model = Sequential()
model.add(LSTM(150, batch_input_shape=(batch_size, in_steps, in_vector), stateful=True, return_sequences=True))
model.add(TimeDistributed(Dense(out_vector, activation='softmax')))
print(model.summary())

解释：输入的数据结构为（50,10,10），输出的数据结构为（50,10,100），实现了多对多中的输入与输入序列长度相同

3.2、多对多之输入与输出的序列长度不同

from keras.models import Sequential
from keras.layers import LSTM, Dense, TimeDistributed, RepeatVector

batch_size = 50
in_steps = 10
in_vector = 10
out_vector = 100
model = Sequential()
model.add(LSTM(150, batch_input_shape=(batch_size, in_steps, in_vector), stateful=True))
model.add(RepeatVector(20))
model.add(TimeDistributed(Dense(out_vector, activation='softmax')))
print(model.summary())

 

解释：输入的数据结构为（50,10,10），输出的数据结构为（50,20,100），实现了多对多中的输入与输入序列长度不同

部分代码解释：

model.add(LSTM(150, batch_input_shape=(batch_size, in_steps, in_vector), stateful=True))
model.add(RepeatVector(20))

在LSTM后面添加RepeatVector层的时候，必须保障没有在LSTM中没有return_sequences=True，因为RepeatVector需要的是二维输入，而不是三维

model.add(LSTM(150, batch_input_shape=(batch_size, in_steps, in_vector), stateful=True,return_sequences=True))
model.add(TimeDistributed(Dense(out_vector, activation='softmax')))

在LSTM后面添加TimeDistributed层的时候，必须保障在LSTM中有return_sequences=True，因为TimeDistributed需要的是三维输入。

小贴士：

RepeatVector主要作用于步长

TimeDistributed主要作用于每一步向量长度（即：属性大小）