keras中使用LSTM实现一对多和多对多

  • 一、前言

 1、TimeDistributed和Dense的使用
下面代码是keras里面给出的解释:


        # as the first layer in a model
        model = Sequential()
        model.add(TimeDistributed(Dense(8), input_shape=(10, 16)))
        # now model.output_shape == (None, 10, 8)

从上述代码中可以发现,TimeDistributed和Dense一起配合使用,主要应用于一对多,多对多的情况。

input_shape = (10,16),表示步长是10,每一步的维度为16,(即:每一个数据的属性长度为16))

首先使用TimeDistributed(Dense(8),input_shape = (10,16))把每一步的维度为16变成8,不改变步长的大小

若该层的批输入形状然后(50, 10, 16),则这一层之后的输出为(50, 10, 8)

2、RepeatVector的使用

这个是keras官网给出的解释

```python
        model = Sequential()
        model.add(Dense(32, input_dim=32))
        # now: model.output_shape == (None, 32)
        # note: `None` is the batch dimension

        model.add(RepeatVector(3))
        # now: model.output_shape == (None, 3, 32)
    ```

解释:如果输入的形状为(None,32),经过添加RepeatVector(3)层之后,输出变为(None,3,32),RepeatVector不改变我们的步长,改变我们的每一步的维数(即:属性长度)

  • 二、一对多

from keras.models import Sequential
from keras.layers import LSTM,Dense,TimeDistributed,RepeatVector

batch_size = 50
n_in = 1
vector = 10
n_out = 5
model = Sequential()
model.add(LSTM(150, batch_input_shape=(batch_size, n_in, vector), stateful=True))
model.add(RepeatVector(n_out))
model.add(LSTM(150, return_sequences=True, stateful=True))
model.add(TimeDistributed(Dense(vector, activation='softmax')))
print(model.summary())

解释:输入的数据结构为(50,1,10),输出的数据结构为(50,5,10),实现了一对多

  • 三、多对多

3.1、多对多之输入与输出的序列长度相同

 

from keras.models import Sequential
from keras.layers import LSTM, Dense, TimeDistributed, RepeatVector

batch_size = 50
in_steps = 10
in_vector = 10
out_vector = 100
model = Sequential()
model.add(LSTM(150, batch_input_shape=(batch_size, in_steps, in_vector), stateful=True, return_sequences=True))
model.add(TimeDistributed(Dense(out_vector, activation='softmax')))
print(model.summary())

解释:输入的数据结构为(50,10,10),输出的数据结构为(50,10,100),实现了多对多中的输入与输入序列长度相同

3.2、多对多之输入与输出的序列长度不同

from keras.models import Sequential
from keras.layers import LSTM, Dense, TimeDistributed, RepeatVector

batch_size = 50
in_steps = 10
in_vector = 10
out_vector = 100
model = Sequential()
model.add(LSTM(150, batch_input_shape=(batch_size, in_steps, in_vector), stateful=True))
model.add(RepeatVector(20))
model.add(TimeDistributed(Dense(out_vector, activation='softmax')))
print(model.summary())

 

解释:输入的数据结构为(50,10,10),输出的数据结构为(50,20,100),实现了多对多中的输入与输入序列长度不同

部分代码解释:

model.add(LSTM(150, batch_input_shape=(batch_size, in_steps, in_vector), stateful=True))
model.add(RepeatVector(20))

在LSTM后面添加RepeatVector层的时候,必须保障没有在LSTM中没有return_sequences=True,因为RepeatVector需要的是二维输入,而不是三维

model.add(LSTM(150, batch_input_shape=(batch_size, in_steps, in_vector), stateful=True,return_sequences=True))
model.add(TimeDistributed(Dense(out_vector, activation='softmax')))

在LSTM后面添加TimeDistributed层的时候,必须保障在LSTM中有return_sequences=True,因为TimeDistributed需要的是三维输入。

小贴士:

RepeatVector主要作用于步长

TimeDistributed主要作用于每一步向量长度(即:属性大小)

 

©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页