为什么深度神经网络会超内存

这个主要是发生在训练时，明明放进去的数据量不多，却总是报超内存。这是因为在训练时，每一层的中间结果都会缓存下来，然后在反向传播的时候数据量还会翻倍。所以内存会不够用。

在推理时就还好，中间结果没必要保存，只要输入加上模型的尺寸不超就可以。