从documentation,我们可以看到所有Keras复现层所期望的输入形状是:
(None, TimeSteps, DataDimension)
在Keras形状中, None 是您拥有的示例数 .
因此,在第一种简单的方法中,您必须将您的训练数据塑造为:
(NumberOfVideos, NumberOfFrames, height * width * channels)
你的第一层(如果第一层是LSTM)应该使用:
LSTM(AnyNumberOfCells, input_shape=(NumberOfFrames, height * width * channels))
创建模型时从不考虑批量大小(示例数量),它只出现在您的训练数据中,这就是为什么Keras在消息中为该维度显示 None 的原因 .
现在,这是一种非常简单直观的启动方式,但实际上,没有义务像这样塑造您的训练数据,您可以尝试各种方式,只要您为LSTM图层保留数据形状为 (BatchSize,TimeSteps,DataDimension) . 一个很好的方法(在我看来)是首先做一些卷积来减少数据大小,然后再在LSTM中提供它 . 维度"height * width * channels"可能太多,无法在LSTM层中一次处理所有内容,并且可能会导致内存问题 .
如果你有记忆问题 . 你可以学习"generators"或Keras Sequences . 这些将与fit_generator()方法一起使用 . Keras将首先使用生成器读取有限数量的数据,并仅使用该数据进行训练 . 但是,您必须使这些发生器以相同的格式输出 (ASmallerNumberOfVideos, NumberOfFrames, height * width * channels) .
现在,即使这样你还有内存问题,你将不得不开始使用 stateful=True 层 .
在这种情况下,“TimeSteps”可以在不同的阵列中分开 . 当你训练时,你的LSTM层不会认为“好,这个例子已经完成” . 您输入的下一批将被视为“继续前一个序列” .
数据形状像 (NumberOfVideos,ReducedNumberOfFrames, h*w) .
在这种情况下,每次训练足够"ReducedNumberOfFrames"完成序列后,您必须使用.reset_states()手动重置网络状态 .
你可以通过像 (ReducedNumberOfVideos,ReducedNumberOfFrames,h*w) 这样的训练来结合这两个想法,只要你能够很好地控制你的训练并在正确的点上进行训练 .