GAN里面的一个小坑

 

-log sigmoid(f(x)) = log (1 + exp(-f(x)))

                   = softplus(-f(x)) 

-log(1-sigmoid(f(x))) = log (1 + exp(f(x)))

                      = softplus(f(x)).

Thus, softplus(-f(x)) + softplus(f(x)) represents the same objective as the original adversarial loss function.

因为看到了一个人代码写的有问题查到了这个结果，GAN提出的时候一共有两种表示方法，只是去掉了一个负号，但是推导之后表示上可以用softplus来代替。