java帧结构,使用视频训练LSTM模型的结构（帧数恒定）

从documentation，我们可以看到所有Keras复现层所期望的输入形状是：

(None, TimeSteps, DataDimension)

在Keras形状中， None 是您拥有的示例数 .

因此，在第一种简单的方法中，您必须将您的训练数据塑造为：

(NumberOfVideos, NumberOfFrames, height * width * channels)

你的第一层(如果第一层是LSTM)应该使用：

LSTM(AnyNumberOfCells, input_shape=(NumberOfFrames, height * width * channels))

创建模型时从不考虑批量大小(示例数量)，它只出现在您的训练数据中，这就是为什么Keras在消息中为该维度显示 None 的原因 .

现在，这是一种非常简单直观的启动方式，但实际上，没有义务像这样塑造您的训练数据，您可以尝试各种方式，只要您为LSTM图层保留数据形状为 (BatchSize,TimeSteps,DataDimension) . 一个很好的方法(在我看来)是首先做一些卷积来减少数据大小，然后再在LSTM中提供它 . 维度"height * width * channels"可能太多，无法在LSTM层中一次处理所有内容，并且可能会导致内存问题 .

如果你有记忆问题 . 你可以学习"generators"或Keras Sequences . 这些将与fit_generator()方法一起使用 . Keras将首先使用生成器读取有限数量的数据，并仅使用该数据进行训练 . 但是，您必须使这些发生器以相同的格式输出 (ASmallerNumberOfVideos, NumberOfFrames, height * width * channels) .

现在，即使这样你还有内存问题，你将不得不开始使用 stateful=True 层 .

在这种情况下，“TimeSteps”可以在不同的阵列中分开 . 当你训练时，你的LSTM层不会认为“好，这个例子已经完成” . 您输入的下一批将被视为“继续前一个序列” .

数据形状像 (NumberOfVideos,ReducedNumberOfFrames, h*w) .

在这种情况下，每次训练足够"ReducedNumberOfFrames"完成序列后，您必须使用.reset_states()手动重置网络状态 .

你可以通过像 (ReducedNumberOfVideos,ReducedNumberOfFrames,h*w) 这样的训练来结合这两个想法，只要你能够很好地控制你的训练并在正确的点上进行训练 .