我想 Build 一个具有以下特征的端到端可训练模型:
CNN从图像中提取特征
将要素重新整形为矩阵
然后将该矩阵的每一行馈送到LSTM1
然后将该矩阵的每列送入LSTM2
LSTM1和LSTM2的输出连接为最终输出
我现在的问题是重塑后,如何使用Keras或Tensorflow将特征矩阵的值提供给LSTM?
到目前为止,这是我使用VGG16网络的代码(也是指向Keras issues的链接):
# VGG16
model = Sequential()
model.add(Conv2D(64, (3, 3), activation='relu', padding='same', input_shape=(224, 224, 3)))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D((2, 2)))
# block 2
model.add(Conv2D(128, (3, 3), activation='relu', padding='same'))
model.add(Conv2D(128, (3, 3), activation='relu'))
model.add(MaxPooling2D((2, 2)))
# block 3
model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
model.add(Conv2D(25