Gan中的标签反转和域自适应中的梯度反转

Gan中的标签反转和域自适应中的梯度反转

有个想法，为什么gan不用梯度反转呢，而是给定一个相反标签，其实梯度反转也是可以的，但是在同样的输出情况下，我们会发现直接给相反标签会更快地指导网络往相反方向学习，也就是梯度更大，这个可以根据公式推导出来。

另外域自适应中对backbone的梯度反转也是为了提取更通用的特征，是为了找到两种分布间的共性，让网络着重学习这些。而不简简单单为了让两种分布得到同样的标签。(2021.3 当设定源域为1，目标域为0时，怎么保证特征提取器不往src 0 / target 1方向学习呢，这样其实也是在增大两种域特征的区别。有个解释，就是网络参数解空间是崎岖不平的，这两种情况对应的参数状态可能在空间相隔很远，并不是完全的相对关系，也就是说远离一个就会靠近另一个，最终网络可能在对抗的作用下稳定在某个中间区域。)

gan训练中会有鉴别器的正确训练，但是域自适应没有，所以前者可以有错误标签学习，后者没有。