weixin_44192829的博客

原创 【学习笔记】基于计算图的内存优化

图1右边展示了例子中两层神经网络的一种内存分配计划，包含了上述两种类型的内存优化操作，其中相同颜色的节点共享内存。第一个sigmoid转换使用置换操作来节省内存，其反向运算又重用了这部分内存。softmax梯度与第一个全连接层的梯度共享内存。然而特定情况下应用这些优化操作可能会导致错误。例如，如果一个操作的输入仍然是另一个操作所需要的，那么对输入进行置换操作将导致错误的结果。