note GAN model

GAN模型笔记

首先理清楚loss.backward()
只要tensor的属性requires_grad=True，说明这是一个叶子节点，可以对其求导数。
神经网络往往先要进行forward()一次，得到结果，然后由结果backward()反向求各参数的导数,并将结果保存在tensor.grad.data这里，这就是我们求导$$\frac{\delta loss}{\delta w}$$然后，优化器optimizer.step()这个操作就是更新这些参数，最基本的梯度下降法操作就是$$w=w-lr\ast \frac{\delta loss}{\delta w}$$这样就完成一次网络参数的更新。
而为什么每次还要将optimizer.zero_grad()先执行以下，再执行上面操作呢？
这个optimizer.zero_grad()操作是将gard.data清零，因为上一次loss.backward()之后更新完参数，如果不清零,那么现在再次loss.backward(),这个grad.data就会由上次的data和这次的data累加得到，那么在更新参数时，由公式可以看出，就没有意义了。所以要把上次计算的偏导数更新为零，再计算现在的偏导数，从而更新参数。

---

上面有什么地方理解的不对的，还请各位同学批评指正！下面看GAN模型。

---

之所以说上面这些，是因为在用pytorch构造GAN模型时，总是要固定某一网络参数，而更新另一网络参数，这是最基本的操作。所以，一定需要了解网络是怎么更新参数的。
GAN模型，由生成器和判别器组成，这是最原始的，现在也有很多变种，这里只讲最原始最经典的GAN模型。
更新时间20190910 19:09 ,今天先到这了