tensorflow构建对抗样本遇到的坑----梯度问题

tensorflow构建对抗样本遇到的坑----梯度问题

在利用梯度生成对抗样本的方式中,其核心思想为:

X p e r t = X + e p s i l o n × s i g n ( ∇ x L ( X , Y ) ) X_{pert} = X + epsilon \times sign(\nabla_x L(X,Y)) Xpert=X+epsilon×sign(xL(X,Y))

其中 epsilon为扰动系数(扰动浓度),一般值比较小; s i g n ( ) sign() sign为符号函数,X为输入的样本,Y为对应标签, L ( X , Y ) L(X,Y) LX,Y则为loss函数。

建议在模型设计的时候就考虑到怎样设计loss,才能使得对x求导比较平滑(比如一般用交叉熵等来作为loss函数)。

而在利用tensorflow实现的过程中,tf.gradients(Y,X)函数中,要求Y与X必须相关,否则会出现莫名其妙的错误。

因此不能因为想的简单,而重新再写一个不相关的 l o s s 1 loss_1 loss1函数,来对x求导,这样的话,一方面自己新定义的 l o s s 1 loss_1 loss1收敛也成了一个问题,同时还容易引起求导不相关的莫名其妙的报错(这个问题迷惑了快一宿,因为这个报错信息并不在调用tf.gradients(Y,X)处,而在之后喂入数据的时候出现错误,以至于前几个小时一直以为是我的session出现了毛病。吃力不讨好)

此外,注意一下tf.gradients(Y,X)的使用,建议还是用placeholder来传入参数,而在之后再喂入数据进行训练。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值