DiAD代码use_checkpoint

1、梯度检查点理解

梯度检查点（Gradient Checkpointing）是一种深度学习优化技术，它的目的是减少在神经网络训练过程中的内存占用。在训练深度学习模型时，我们需要存储每一层的激活值（即网络层的输出），这样在反向传播时才能计算梯度。但是，如果网络层数非常多，这些激活值会占用大量的内存。

梯度检查点技术通过只在前向传播时保存部分激活值的信息，而在反向传播时重新计算其他激活值，从而减少了内存的使用。具体来说，它在前向传播时使用 torch.no_grad() 来告诉PyTorch不需要计算梯度，因为这些激活值会在反向传播时重新计算。

假设我有一个深度神经网络，网络有20层，每层都需要保存激活值以便反向传播时计算梯度。如果没有使用梯度检查点，你需要在内存中保存所有20层的激活值。如果使用梯度检查点，你可以在前向传播时只保存第1层和第20层的激活值，而在反向传播时重新计算第2层到第19层的激活值。这样，你就大大减少了需要保存的激活值数量，从而节省了内存。
启用梯度检查点可以减少内存占用，但可能增加计算成本。

2、 torch.utils.checkpoint.checkpoint函数

torch.utils.ch