Trials
文章平均质量分 82
MTandHJ
这个作者很懒,什么都没留下…
展开
-
TriggerBN ++
文章目录motivationsettingsresults motivation 用两个BN(一个用于干净样本, 一个用于对抗样本), 结果当使用BNnat\mathrm{BN}_{nat}BNnat的时候, 精度能够上升, 而使用BNadv\mathrm{BN}_{adv}BNadv的时候, 也有相当的鲁棒性. 原文采用的是 αL(f(x),y)+(1−α)L(f(x+δ),y), \alpha \mathcal{L}(f(x), y) + (1-\alpha) \mathcal{L}(f(x+\de原创 2021-06-14 09:39:03 · 88 阅读 · 0 评论 -
Trials-BBN+
文章目录motivationsettingsresults motivation 观测用BBN的模式训练出来的模型, 配上不同的α\alphaα, 结果会如何. settings Attribute Value attack pgd-linf batch_size 128 beta1 0.9 beta2 0.999 dataset cifar10 description AT=True-0.0=default-sgd-0.1=pgd-linf-0.0314-0.25-10原创 2021-06-09 16:01:49 · 99 阅读 · 0 评论 -
各层的特征的差异性
文章目录motivationsettingsSTDATresultsSTDmaxminmeannorm1norm2norminfATmaxminmeannorm1norm2normlinf motivation 不同层之间的特征分布有什么关系? settings STD Attribute Value batch_size 128 beta1 0.9 beta2 0.999 dataset cifar10 description STD=STD-sgd-0.1=128=def原创 2021-06-06 18:26:08 · 394 阅读 · 0 评论 -
TriggerBN +
文章目录motivationsettingsresults motivation 用两个BN(一个用于干净样本, 一个用于对抗样本), 结果当使用BNnat\mathrm{BN}_{nat}BNnat的时候, 精度能够上升, 而使用BNadv\mathrm{BN}_{adv}BNadv的时候, 也有相当的鲁棒性, 但是二者不能兼得. 那么假设一个样本通过两种BN得到两个概率pnatp_{nat}pnat和padvp_{adv}padv, 并利用 p=αpnat+(1−α)padv,α∈[0,1],原创 2021-06-06 18:11:36 · 100 阅读 · 0 评论 -
Noise
motivation 提高网络的一个有用的技巧就是增加训练数据: 真实数据, 或者用GAN拟合的数据. 这里想要研究的是, 噪声是否能够算作这类数据. 以CIFAR-10为例, 令 f:x∈X→p∈R11, f: x \in \mathcal{X} \rightarrow p \in \mathbb{R}^{11}, f:x∈X→p∈R11, 即除了原先的10类外, 额外增加一类为噪声类. 类似的思想好像在检测领域有用过(背景信息)? 本文的损失函数可以说是: minfα⋅Ex∼D[L(f(x+δx),y原创 2021-06-05 16:15:01 · 109 阅读 · 0 评论 -
Trials-BBN
文章目录motivationsettingsresults motivation BBN 对于处理长尾问题非常有效, 我在想, 能不能类似地用在鲁棒问题上. 思想很简单, 就是上面用干净数据, 下面用对抗样本(其用α=0.5\alpha=0.5α=0.5的eval mode 生成), 但是结果非常差. settings - batch_size: 128 - beta1: 0.9 - beta2: 0.999 - dataset: cifar10 - epochs: 200 - epsilon: 0.03原创 2021-05-27 21:26:05 · 127 阅读 · 0 评论 -
EMA
文章目录源设置结果 源 Exponential moving average (EMA) 是一个非常有用的trick, 起到加速训练的作用. 近来发现, 该技巧还可以用于提高网络鲁棒性(约1% ~ 2%). EMA的流程很简单, f(⋅;θ)f(\cdot;\theta)f(⋅;θ)是我们用于训练的网络, 则在每次迭代结束后进行: θ′=α⋅θ′+(1−α)⋅θ, \theta' = \alpha \cdot \theta' + (1 - \alpha) \cdot \theta, θ′=α⋅θ′+(1−α原创 2021-05-22 22:09:34 · 664 阅读 · 0 评论