对抗神经网络GAN中d_loss g_loss两种更新参数的图解释

版权归属：

• https://blog.csdn.net/halchan
• chanhal@outlook.com

更多关注：

• https://github.com/chanhal
• https://www.zhihu.com/people/chanhal

• 如果先计算d_loss，在d_loss.backward()后会默认自动释放掉【real_img -> G -> fake_img -> D】这个计算图，但是在执行g_loss.backward()时需要【real_img -> G -> fake_img】这一段的计算图，所以会报告retain graph的错误，解决办法：d_loss.backward(retain_graph=True)，或者在计算d_loss时，使用fake_img.detach()，这样在d_loss.backward()时只会释放【fake_img -> D】这段计算图，不会释放【real_img -> G -> fake_img】这段计算图，进而影响g_loss.backward()；
• 如果先计算g_los