backward(create_graph=true)内存泄漏问题

记录前几日在复现unrolled GAN 的时候，出现了cuda out of memory的问题。
刚开始以为是服务器上显存存不足，清空了所有的进程。再到后来干脆把两块卡一起合并使用，但是情况都没有改变。

原本已经打算放弃，但是心里觉得应该和create_graph=True有关。
终于在一个国外的网站上看到有人提出的使用backward(create_graph=true)可能会存在内存泄漏问题，回顾问题，觉得应该也是和这个相关，于是我修改了代码，将原本高阶微分部分用到的backward(create_graph=true)，修改为torch.auto_grad问题得到解决，不再有内存不足的错误。修改的代码行在图中注释的行。