tensorflow构建对抗样本遇到的坑----梯度问题
在利用梯度生成对抗样本的方式中,其核心思想为:
X p e r t = X + e p s i l o n × s i g n ( ∇ x L ( X , Y ) ) X_{pert} = X + epsilon \times sign(\nabla_x L(X,Y)) Xpert=X+epsilon×sign(∇xL(X,Y))
其中 epsilon为扰动系数(扰动浓度),一般值比较小; s i g n ( ) sign() sign()为符号函数,X为输入的样本,Y为对应标签, L ( X , Y ) L(X,Y) L(X,Y)则为loss函数。
建议在模型设计的时候就考虑到怎样设计loss,才能使得对x求导比较平滑(比如一般用交叉熵等来作为loss函数)。
而在利用tensorflow实现的过程中,tf.gradients(Y,X)函数中,要求Y与X必须相关,否则会出现莫名其妙的错误。
因此不能因为想的简单,而重新再写一个不相关的 l o s s 1 loss_1 loss1函数,来对x求导,这样的话,一方面自己新定义的 l o s s 1 loss_1 loss1收敛也成了一个问题,同时还容易引起求导不相关的莫名其妙的报错(这个问题迷惑了快一宿,因为这个报错信息并不在调用tf.gradients(Y,X)处,而在之后喂入数据的时候出现错误,以至于前几个小时一直以为是我的session出现了毛病。吃力不讨好)
此外,注意一下tf.gradients(Y,X)的使用,建议还是用placeholder来传入参数,而在之后再喂入数据进行训练。