“混淆梯度陷阱”：论文+代码解析（1）攻破Gradient Shattering——Thermometer Encoding

后面8篇打算了解一下作者攻破的若干模型。这个作者是真的不留情面啊。
以及代码的话如果能跑通的话了解一下原理以及一些代码中不会的东西——我现在会的深度学习模型居然是caffe和Torch7你敢信……
然后最近要把一些cs231n的作业放到csdn博客上了。
好好学习天天向上。

Thermometer Encoding
防御模型
早在2014年，Ian Goodfellow认为，对抗样本产生的原因是因为在神经网络中存在线性层，从而导致对抗样本的产生。因此，温度计编码（Thermometer Encoding）方式就是用来破坏这种线性的。
对于图片$x$，我们对于图片上某像素$x_{i,j,c}$,我们应用一个l层的温度计编码器(thermometer encoding)$\tau (x_{i,j,c})$,会生成一个l个元素的向量，当$x_{i,j,c}>\frac{k}{l}$的时候，$\tau (x_{i,j,c})=1$；当$x_{i,j,c}<=\frac{k}{l}$的时候，$\tau (x_{i,j,c})=0$。例如对一个10层的温度计编码器而言，$\tau (0.66)=1111110000$