对抗样本生成的一些经验总结

对抗样本生成的一些经验总结

1. 求梯度时需要用logits而不是probability
   设softmax函数为$g(x,y):=\frac{\exp(x_{y})}{\sum_{i}{\exp(x_{i})}}$，其中$x$ 为logits $\in R^n$，$y$ 为label $\in \lbrace 0, ..., C-1\rbrace$
   设输入为$u$，直接采用logits求梯度则为$\frac{\mathrm d{x_{y}}}{\mathrm du}$，但是用probability进行求导则为$\frac{\mathrm dg(x,y)}{\mathrm du} = g(x_{y})(1 - g(x_{y}))\frac{\mathrm d{x_{y}}}{\mathrm du}$
   而$x(1-x) \le \frac{1}{4}$，因此使用probability进行求导得到的结果要比直接用logits的小很多，尤其是$x \to 0+$ 或$x \to 1-$ 的时候。在做targeted adversarial generation时，如果图像在y_target上的prob很小，那么反向传递梯度几乎不会对原图产生影响
2. 那既然这样，我们一直使用的模型训练方式是不是也有所欠缺呢？