首先我们要搞清一个逻辑,就是在Pytorch中,张量间的计算产生计算图,而反向传递会导致计算图删除(反向即backward()函数,请注意,用autograd求导不会导致计算图被删除)。
当我们想求二阶导时,用autograd.grad是执行了一次前向运算,但该函数默认不会保存计算图,因此并没有求导运算的过程,无法再继续用结果求二阶导。因而需要create_graph=True来手动建立计算图。
此外,retain_graph是retain当前的式子的计算图,当我们不想让backward()函数释放掉当前计算图时,我们可以使用retain_graph=True。