关于Pytorch的create_graph和retain_graph的一点小得

首先我们要搞清一个逻辑，就是在Pytorch中，张量间的计算产生计算图，而反向传递会导致计算图删除（反向即backward()函数，请注意，用autograd求导不会导致计算图被删除）。

当我们想求二阶导时，用autograd.grad是执行了一次前向运算，但该函数默认不会保存计算图，因此并没有求导运算的过程，无法再继续用结果求二阶导。因而需要create_graph=True来手动建立计算图。

此外，retain_graph是retain当前的式子的计算图，当我们不想让backward()函数释放掉当前计算图时，我们可以使用retain_graph=True。