[论文解读]Feature-Guided Black-Box Safety Testing of Deep Neural Networks

Feature-Guided Black-Box Safety Testing of Deep Neural Networks

深度神经网络的功能导向黑盒安全测试

总结: 一种使用蒙特卡洛树搜索的方式来获取反例的方法,使用SIFT提取关键点,并采用两个玩家回合制的方式对关键点进行操作.

初步

预备定义

N 为 一 个 神 经 网 络 , C 为 其 类 别 数 量 给 定 输 入 α 和 c ∈ C 类 N ( α , c ) 表 示 相 信 α 在 c 类 中 的 置 信 度 N ( α ) = a r g m a x c ∈ C N ( α , c ) 表 示 将 α 分 入 c 的 类 别 ( 就 是 哪 个 置 信 度 高 分 到 哪 个 ) D : 输 入 域 , 可 以 表 示 为 I R [ 0 , 255 ] w × h × c h , w ， h ， c h 是 一 个 图 片 的 宽 度 ， 高 度 和 通 道 数 P 0 = w × h × c h 是 输 入 尺 寸 的 集 合 w × h 中 的 元 素 称 为 像 素 ， 将 P 0 中 的 元 素 称 为 尺 寸 我 们 注 意 到 尺 寸 被 归 一 化 在 [ 0 ， 1 ] 距 离 衡 量 指 标 : L k = ∣ ∣ α 1 − α 2 ∣ ∣ k 两 幅 图 像 的 距 离 L 范 数 给 定 图 像 α ， 距 离 度 量 L k 和 距 离 d η ( α , k , d ) = { α ′ ∣   ∣ ∣ α ′ − α ∣ ∣ k ≤ d } 代 表 使 用 L k 范 数 做 为 距 离 衡 量 指 标 后 , 到 α 的 距 离 不 大 于 d 的 点 的 集 合 \begin{array}{l} N为一个神经网络,C为其类别数量\\ 给定输入α和c∈C类\\ N(α, c)表示相信α在c类中的置信度\\ N(α) = arg max_{c∈C }N(α, c)表示将α分入c的类别\\ (就是哪个置信度高分到哪个)\\ \\\\ D:输入域,可以表示为IR^{w×h×ch}_{[0,255]},w，h，ch是一个图片的宽度，高度和通道数\\ P_0 = w × h × ch 是输入尺寸的集合\\ w×h中的元素称为像素，将P0中的元素称为尺寸\\ 我们注意到尺寸被归一化在[0，1]\\ \\ 距离衡量指标: Lk = ||α1 − α2||_k 两幅图像的距离 L范数\\ \\ 给定图像α，距离度量Lk和距离d\\ η(α, k, d) =\{α' | \ ||α' − α||_k ≤ d\} 代表使用Lk范数做为距离衡量指标后,到α的距离不大于d的点的集合 \end{array}\\ N为一个神经网络,C为其类别数量给定输入α和c∈C类N(α,c)表示相信α在c类中的置信度N(α)=argmaxc∈C​N(α,c)表示将α分入c的类别(就是哪个置信度高分到哪个)D:输入域,可以表示为IR[0,255]w×h×ch​,w，h，ch是一个图片的宽度，高度和通道数P0​=w×h×ch是输入尺寸的集合w×h中的元素称为像素，将P0中的元素称为尺寸我们注意到尺寸被归一化在[0，1]距离衡量指标:Lk=∣∣α1−α2∣∣k​两幅图像的距离L范数给定图像α，距离度量Lk和距离dη(α,k,d)={α′∣ ∣∣α′−α∣∣k​≤d}代表使用Lk范数做为距离衡量指标后,到α的距离不大于d的点的集合​

定义1: 反例的定义与安全性的定义
$$\begin{array}{l}给定一个输入\alpha \in D，一个k\ge 0的距离度量Lk和一个距离d\\ 一个c\ne N(\alpha )的对抗性用例{\alpha }^{\prime }定义为:\\ {\alpha }^{\prime }\in \eta (\alpha ,k,d),N(\alpha )\ne N({\alpha }^{\prime }),N({\alpha }^{\prime })=c\\ (这里意思是,a^{\prime }和a是两个测试用例(两个图片,a^{\prime }是反例),a^{\prime }在a的L_k距离范围内,但他们两个属于不同的类别)\\ ad{v}_{N,k,d}(\alpha ,c):c类别的一系列反例\\ ad{v}_{N,k,d}(\alpha )=U_{c\in C,c\ne N(\alpha )}ad{v}_{N,k,d}(\alpha ,c):所有类别的反例\\ ad{v}_{N,k,d}(\alpha ,c)=\varnothing :c类的目标安全性安全,\\ advN,k,d(\alpha )=\varnothing :非目标安全性\\ (理解:当C类没有反例C类就安全,所有类没有就全部都安全)\end{array}$$

特征提取

Scale Invariant Feature Transform (SIFT)

特点: 无需使用神经网络就可以进行对象定位和跟踪

步骤：标度空间极值检测（检测图像中相对较暗或较亮的区域），关键点定位（确定这些区域的确切位置）和关键点描述符分配（了解目标对象的上下文图片及其本地区域）
$$\begin{array}{l}设\Lambda （\alpha ）是图像的一组特征\\ 其中每个特征\lambda \in \Lambda （\alpha ）是一个元组（\lambda x，\lambda y，\lambda s，\lambda r）\\ （\lambda x，\lambda y）是坐标,\lambda s是特征的大小,\lambda r是特征的响应强度\end{array}$$

高斯混合模型

给 定 图 像 α 及 其 关 键 点 集 合 Λ （ α ） , 我 们 为 λ i ∈ Λ （ α ） 定 义 二 维 高 斯 分 布 G i , 对 于 像 素 （ p x ， p y ) 有 : G i , x = 1 2 π λ i , s 2 exp ⁡ ( − ( p x − λ i , x ) 2 2 λ i , s 2 ) G i , y = 1 2 π λ i , s 2 exp ⁡ ( − ( p y − λ i , y ) 2 2 λ i , s 2 ) λ i , s : 方 差 , ( λ i , x , λ i , y ) 分 别 作 为 均 值 Φ = { φ i } i ∈ 1 , 2 , . . . k , : 混 合 模 型 的 权 重 k = ∣ Λ ( α ) ∣ : k 是 关 键 点 集 合 的 个 数 , ϕ i = λ i , r / ∑ j = 0 k λ j , r 是 权 重 ( k 就 起 到 一 个 表 示 总 个 数 的 作 用 ) 最 后 的 混 合 高 斯 模 型 就 是 加 权 : G x = ∏ i = 1 k ϕ i × G i , x  and  G y = ∏ i = 1 k ϕ i × G i , y ( 就 是 把 数 据 对 应 放 在 高 斯 混 合 模 型 的 定 义 中 , 权 重 使 用 相 应 强 度 / 所 有 强 度 求 和 ) G ( Λ ( α ) ) 为 最 后 的 混 合 高 斯 模 型 \begin{array}{l} 给定图像α及其关键点集合Λ（α）,我们为λi∈Λ（α）定义二维高斯分布G_i,对于像素（px，py)有:\\ \mathcal{G}_{i, x}=\frac{1}{\sqrt{2 \pi \lambda_{i, s}^{2}}} \exp \left(\frac{-\left(p_{x}-\lambda_{i, x}\right)^{2}}{2 \lambda_{i, s}^{2}}\right) \quad \mathcal{G}_{i, y}=\frac{1}{\sqrt{2 \pi \lambda_{i, s}^{2}}} \exp \left(\frac{-\left(p_{y}-\lambda_{i, y}\right)^{2}}{2 \lambda_{i, s}^{2}}\right)\\ λ_{i,s}:方差,(λ_{i,x}, λ_{i,y})分别作为均值\\ Φ = \{φ_i\}_{i∈{1,2,...k},}:混合模型的权重\\ k = |Λ(α)|:k是关键点集合的个数,\phi_{i}=\lambda_{i, r} / \sum_{j=0}^{k} \lambda_{j, r}是权重(k就起到一个表示总个数的作用)\\ 最后的混合高斯模型就是加权:\\ \mathcal{G}_{x}=\prod_{i=1}^{k} \phi_{i} \times \mathcal{G}_{i, x} \text { and } \mathcal{G}_{y}=\prod_{i=1}^{k} \phi_{i} \times \mathcal{G}_{i, y}\\ (就是把数据对应放在高斯混合模型的定义中,权重使用相应强度/所有强度求和)\\ G(Λ(α))为最后的混合高斯模型 \end{array}\\ 给定图像α及其关键点集合Λ（α）,我们为λi∈Λ（α）定义二维高斯分布Gi​,对于像素（px，py)有:Gi,x​=2πλi,s2​ ​1​exp(2λi,s2​−(px​−λi,x​)2​)Gi,y​=2πλi,s2​ ​1​exp(2λi,s2​−(py​−λi,y​)2​)λi,s​:方差,(λi,x​,λi,y​)分别作为均值Φ={φi​}i∈1,2,...k,​:混合模型的权重k=∣Λ(α)∣:k是关键点集合的个数,ϕi​=λi,r​/∑j=0k​λj,r​是权重(k就起到一个表示总个数的作用)最后的混合高斯模型就是加权:Gx​=∏i=1k​ϕi​×Gi,x​ and Gy​=∏i=1k​ϕi​×Gi,y​(就是把数据对应放在高斯混合模型的定义中,权重使用相应强度/所有强度求和)G(Λ(α))为最后的混合高斯模型​

有模型之后就可以将一张图片变成高斯混合模型处理后的图片

像素操纵(pixel manipulatio)

α ( x , y , z ) : 图 像 α 上 位 于 （ x ， y ） 的 像 素 的 z 通 道 值 （ 通 常 为 R G B 或 灰 度 值 , R G B 3 个 , 灰 度 1 个 ） I = { + , − } 是 一 组 操 作 指 令 , τ 是 表 示 操 作 幅 度 的 正 实 数 对 于 所 有 的 像 素 ( x , y ) 和 所 有 的 通 道 z ∈ { 1 , 2 , 3 } , 在 其 输 入 子 集 X 上 的 像 素 操 纵 δ X , i : D → D 定 义 为 δ X , i ( α ) ( x , y , z ) = { α ( x , y , z ) + τ ,  if  ( x , y ) ∈ X  and  i = + α ( x , y , z ) − τ ,  if  ( x , y ) ∈ X  and  i = − α ( x , y , z )  otherwise  请 注 意 ， 如 果 值 是 有 界 的 ， 例 如 [ 0 ， 1 ] ， 则 需 要 将 δ X , i ( α ) ( x ， y ， z ） 限 制 在 界 限 之 内 。 ( 理 解 就 是 对 一 组 像 素 的 某 个 通 道 统 统 加 上 一 些 值 或 者 减 少 值 , 并 且 要 控 制 最 后 的 值 不 要 超 出 范 围 ) \begin{array}{l} α(x, y, z):图像α上位于（x，y）的像素的z通道值（通常为RGB或灰度值,RGB3个,灰度1个）\\ I = \{+, −\}是一组操作指令,τ是表示操作幅度的正实数\\ 对于所有的像素(x,y)和所有的通道z∈\{1,2,3\},在其输入子集X上的像素操纵δ_{X,i} : D →D定义为\\ \delta_{X, i}(\alpha)(x, y, z)=\left\{\begin{array}{l}{\alpha(x, y, z)+\tau, \text { if }(x, y) \in X \text { and } i=+} \\ {\alpha(x, y, z)-\tau, \text { if }(x, y) \in X \text { and } i=-} \\ {\alpha(x, y, z) \quad \text { otherwise }}\end{array}\right.\\ 请注意，如果值是有界的，例如[0，1]，则需要将δ_{X,i}(α)(x，y，z）限制在界限之内。\\ (理解就是对一组像素的某个通道统统加上一些值或者减少值,并且要控制最后的值不要超出范围)\\ \end{array}\\ α(x,y,z):图像α上位于（x，y）的像素的z通道值（通常为RGB或灰度值,RGB3个,灰度1个）I={+,−}是一组操作指令,τ是表示操作幅度的正实数对于所有的像素(x,y)和所有的通道z∈{1,2,3},在其输入子集X上的像素操纵δX,i​:D→D定义为δX,i​(α)(x,y,z)=⎩⎨⎧​α(x,y,z)+τ, if (x,y)∈X and i=+α(x,y,z)−τ, if (x,y)∈X and i=−α(x,y,z) otherwise ​请注意，如果值是有界的，例如[0，1]，则需要将δX,i​(α)(x，y，z）限制在界限之内。(理解就是对一组像素的某个通道统统加上一些值或者减少值,并且要控制最后的值不要超出范围)​

操作安全

提出了一种功能导向的方法，而不是使用梯度方向作为优化的指南

基于游戏的方法

玩家I选择特征，而玩家II然后选择选定特征中的像素和操作指令

尽管玩家I的目标是最大程度地减少与对抗示例的距离,

但玩家II可以根据高斯混合模型对像素进行采样,可以是合作者，对抗者或天生的，

我们根据Lk距离定义目标函数，并将与一个对抗示例的距离视为衡量其严重性的指标。 注意，对抗性示例的集合$advN，k，d（\alpha ，c）$和$advN，k，d（\alpha ）$可以是无限的。

定义2:
在 集 合 a d v N , k , d ( α , c ) ( 或 者 a d v N , k , d ( α ) ) 中 找 到 距 原 始 图 像 α 最 小 距 离 的 α ′ arg ⁡ min ⁡ α ′ { sev ⁡ α ( α ′ ) ∣ α ′ ∈ ad ⁡ v N , k , d ( α , c ) ( or adv N , k , d ( α ) ) } s e v α ( α ′ ) = ∣ ∣ α − α ′ ∣ ∣ k , 是 对 抗 例 α ′ 对 原 始 图 像 α 的 严 重 程 度 注 意 : L k 的 选 择 将 影 响 感 知 相 似 性 \begin{array}{l} 在集合adv_{N,k,d}(α, c)(或者 adv_{N,k,d}(α))中找到距原始图像α最小距离的α'\\ \arg \min _{\alpha^{\prime}}\left\{\operatorname{sev}_{\alpha}\left(\alpha^{\prime}\right) | \alpha^{\prime} \in \operatorname{ad} v_{N, k, d}(\alpha, c)\left(\text {or adv}_{N, k, d}(\alpha)\right)\right\}\\ {sev}_{\alpha}\left(\alpha^{\prime}\right) = ||α −α'||_k,是对抗例α'对原始图像α的严重程度\\ 注意:Lk的选择将影响感知相似性 \end{array}\\ 在集合advN,k,d​(α,c)(或者advN,k,d​(α))中找到距原始图像α最小距离的α′argminα′​{sevα​(α′)∣α′∈advN,k,d​(α,c)(or advN,k,d​(α))}sevα​(α′)=∣∣α−α′∣∣k​,是对抗例α′对原始图像α的严重程度注意:Lk的选择将影响感知相似性​
理解:就是从反例中选一个严重性程度最大的(距离最小的)反例

两层回合制游戏

将对抗性示例的制作过程转化为假设有两个玩家I和II的两层回合制游戏。
M ( α , k , d ) = ( S ∪ ( S × Λ ( α ) ) ) , s 0 , { T a } a ∈ { I , I I } , L ) S 为 是 属 于 玩 家 I 的 一 组 游 戏 状 态 , 每 个 状 态 代 表 η （ α ， k ， d ） 中 的 图 像 S × Λ （ α ） 是 属 于 玩 家 I I 的 一 组 游 戏 状 态 , 其 中 Λ （ α ） 是 一 组 特 征 （ 关 键 点 ） 的 图 像 α （ s ） : 与 状 态 s ∈ S 相 关 的 图 像 , s 0 ∈ S 是 初 始 游 戏 状 态 , α （ s 0 ） 是 原 始 图 像 α 过 度 关 系 : T I ： S × Λ （ α ） → S × Λ （ α ） , T I （ s ， λ ） = （ s ， λ ） T I I ： ( S × Λ ( α ) ) × P ( P 0 ) × I → S 定 义 为 T I I （ （ s ， λ ） ， X ， i ） = δ X ， i ( α ( s ) ) 在 每 个 游 戏 的 状 态 s ∈ S 的 情 况 下 ， 玩 家 I 将 选 择 一 个 关 键 点 λ , 玩 家 I I 将 选 择 一 个 对 （ X ， i ） ( 选 择 一 组 像 素 点 和 操 作 ) 标 记 函 数 : S ∪ ( S × Λ ( α ) ) → C × G 为 状 态 s 或 ( ) s ， λ ) 分 配 一 个 类 别 N ( α ( s ) ) 和 一 个 二 维 高 斯 混 合 模 型 G （ Λ ( α ( s ) ) ) 。 \begin{array}{l} M(α, k, d) = (S ∪ (S × Λ(α))), s_0, \{T_a\}_{a∈\{I,II\}}, L) \\ S为是属于玩家I的一组游戏状态,每个状态代表η（α，k，d）中的图像\\ S×Λ（α）是属于玩家II的一组游戏状态,其中Λ（α）是一组特征（关键点）的图像\\ α（s）:与状态s∈S相关的图像,s_0∈S是初始游戏状态,α（s0）是原始图像α\\ 过度关系:T_I：S×Λ（α）→S×Λ（α）,T_I（s，λ）=（s，λ）\\ T_{II}：(S×Λ(α))×P(P_0)×I→S定义为T_{II}（（s，λ），X，i）=δ_{X，i}(α(s))\\ 在每个游戏的状态s∈S的情况下，玩家I将选择一个关键点λ,玩家II将选择一个对（X，i）(选择一组像素点和操作)\\ 标记函数: S∪(S×Λ(α)) → C ×G为状态s或()s，λ)分配一个类别N(α(s))和一个二维高斯混合模型G（Λ (α(s)))。 \end{array}\\ M(α,k,d)=(S∪(S×Λ(α))),s0​,{Ta​}a∈{I,II}​,L)S为是属于玩家I的一组游戏状态,每个状态代表η（α，k，d）中的图像S×Λ（α）是属于玩家II的一组游戏状态,其中Λ（α）是一组特征（关键点）的图像α（s）:与状态s∈S相关的图像,s0​∈S是初始游戏状态,α（s0）是原始图像α过度关系:TI​：S×Λ（α）→S×Λ（α）,TI​（s，λ）=（s，λ）TII​：(S×Λ(α))×P(P0​)×I→S定义为TII​（（s，λ），X，i）=δX，i​(α(s))在每个游戏的状态s∈S的情况下，玩家I将选择一个关键点λ,玩家II将选择一个对（X，i）(选择一组像素点和操作)标记函数:S∪(S×Λ(α))→C×G为状态s或()s，λ)分配一个类别N(α(s))和一个二维高斯混合模型G（Λ(α(s)))。​
理解:T1转移不会改变状态与特征,T2转移会改变图像a上的像素值

游戏模型路径
游 戏 模 型 的 路 径 是 游 戏 状 态 的 序 列 s 1 u 1 s 2 u 2 使 得 对 于 所 有 k ≥ 1 ， 对 于 某 些 特 征 λ k ， u k = T I ( s k , λ k ) 对 于 ( X k , i k ) , s k + 1 = T I I ( ( s k , λ k ) , X k , i k ) 令 l a s t （ ρ ） 为 有 限 路 径 ρ 的 最 后 状 态 , P a t h a F 是 有 限 路 径 的 集 合 , 以 使 l a s t （ ρ ） 属 于 玩 家 a ∈ { I ， I I } 参 与 者 I 的 随 机 策 略 : Path ⁡ I F → D ( Λ ( α ) ) 参 与 者 2 的 随 机 策 略 : P a t h T I F → D ( P ( P 0 ) × I ) σ = （ σ I ， σ I I ） 为 策 略 配 置 文 件 ( s t r a t e g y   p r o f i l e ) \begin{array}{l} 游戏模型的路径是游戏状态的序列s1u1s2u2\\ 使得对于所有k≥1，对于某些特征λk，u_k = T_I(s_k, λ_k) \\ 对于( X_k, i_k) , s_{k+1} =T_{II}((s_k, λ_k), X_k, i_k) \\ 令last（ρ）为有限路径ρ的最后状态,Path^F_a是有限路径的集合,以使last（ρ）属于玩家a∈\{I，II\}\\ 参与者I的随机策略:\operatorname{Path}_{\mathrm{I}}^{F} \rightarrow \mathcal{D}(\Lambda(\alpha))\\ 参与者2的随机策略:P a t h_{\mathrm{TI}}^{F} \rightarrow \mathcal{D}\left(\mathcal{P}\left(P_{0}\right) \times I\right)\\ σ=（σI，σII）为策略配置文件( strategy\ profile) \end{array}\\ 游戏模型的路径是游戏状态的序列s1u1s2u2使得对于所有k≥1，对于某些特征λk，uk​=TI​(sk​,λk​)对于(Xk​,ik​),sk+1​=TII​((sk​,λk​),Xk​,ik​)令last（ρ）为有限路径ρ的最后状态,PathaF​是有限路径的集合,以使last（ρ）属于玩家a∈{I，II}参与者I的随机策略:PathIF​→D(Λ(α))参与者2的随机策略:PathTIF​→D(P(P0​)×I)σ=（σI，σII）为策略配置文件(strategy profile)​
奖励函数的定义

为 σ = （ σ I ， σ I I ) 和 有 限 路 径 ρ ∈ ⋃ a ∈ { 1 , I I } P a t h a F 定 义 奖 励 R ( σ , ρ ) 的 想 法 是 累 积 在 路 径 上 发 现 的 对 抗 性 示 例 的 严 重 性 度 量 注 意 ， 给 定 σ ， 该 游 戏 成 为 完 全 概 率 系 统 ( f u l l y   p r o b a b i l i s t i c   s y s t e m ) 。 α ρ ′ = α （ l a s t （ ρ ） ） 是 与 路 径 ρ 的 最 后 状 态 关 联 的 图 像 t （ ρ ） : N ( α ρ ′ ) = c ∨ ∥ α ρ ′ − α ∥ k > d , 表 示 路 径 已 达 到 其 关 联 图 像 处 于 目 标 类 别 c 或 η ( α , k , d ) 之 外 的 状 态 只 要 满 足 t （ ρ ） ， 就 可 以 终 止 路 径 ρ 不 难 发 现 ， 由 于 定 义 1 中 的 约 束 ， 每 个 无 限 路 径 都 有 一 个 可 以 终 止 的 有 限 前 缀 奖 励 函 数 定 义 如 下 : R （ σ ， ρ ） = { 1 / sev ⁡ α ( α 0 ′ )  if  t ( ρ )  and  ρ ∈ P a t h 1 F ∑ λ ∈ Λ ( α ) ( ρ ) ( λ ) ⋅ R ( σ , ρ T T ( last ⁡ ( ρ ) , λ ) )  if  ¬ t ( ρ )  and  ρ ∈ P a t h I F ∑ ( X , i ) ∈ P ( P 0 ) × I σ I I ( ρ ) ( X , i ) ⋅ R ( σ , ρ T I I ( l a s t ( ρ ) , X , i ) )  if  ρ ∈ Path ⁡ I I F σ I ( ρ ) ( λ ) 是 玩 家 I 在 ρ 上 选 择 λ 的 概 率 , σ I I ( ρ ) ( X , i ) 是 玩 家 I I 基 于 ρ 的 选 择 （ X ， i ） 的 概 率 路 径 仅 终 止 于 玩 家 I 的 状 态 如 果 找 到 一 个 反 例 ， 则 分 配 奖 励 是 严 重 程 度 （ 最 小 距 离 ） 的 倒 数 , 否 则 ， 如 果 是 其 子 项 ， 则 是 奖 励 的 加 权 总 和 因 此 ， 最 大 化 回 报 的 策 略 σ I 将 需 要 最 小 化 严 重 性 s e v α ( α ρ ′ ) , \begin{array}{l} 为σ=（σI，σII)和有限路径\rho \in \bigcup_{a \in\{1, \mathrm{II}\}} P a t h_{a}^{F}定义奖励R(σ, ρ)\\ 的想法是累积在路径上发现的对抗性示例的严重性度量\\ 注意，给定σ，该游戏成为完全概率系统(fully\ probabilistic \ system)。\\ α'_ρ=α（last（ρ））是与路径ρ的最后状态关联的图像\\ t（ρ）: N\left(\alpha_{\rho}^{\prime}\right)=c \vee\left\|\alpha_{\rho}^{\prime}-\alpha\right\|_{k}>d,表示路径已达到其关联图像处于目标类别c或 η(α, k, d)之外的状态\\ 只要满足t（ρ），就可以终止路径ρ\\ 不难发现，由于定义1中的约束，每个无限路径都有一个可以终止的有限前缀\\ 奖励函数定义如下:\\ R（σ，ρ）=\left\{\begin{array}{ll}{1 / \operatorname{sev}_{\alpha}\left(\alpha_{0}^{\prime}\right)} & {\text { if } t(\rho) \text { and } \rho \in P a t h_{1}^{F}} \\ {\sum_{\lambda \in \Lambda(\alpha)}(\rho)(\lambda) \cdot R\left(\sigma, \rho T_{\mathrm{T}}(\operatorname{last}(\rho), \lambda)\right)} & {\text { if } \neg t(\rho) \text { and } \rho \in P a t h_{\mathrm{I}}^{F}} \\ {\sum_{(X, i) \in \mathcal{P}\left(P_{0}\right) \times I} \sigma_{\mathrm{II}}(\rho)(X, i) \cdot R\left(\sigma, \rho T_{\mathrm{II}}(l a s t(\rho), X, i)\right) \text { if } \rho \in \operatorname{Path}_{\mathrm{II}}^{F}}\end{array}\right.\\ σI(ρ)(λ) 是玩家I在ρ上选择λ的概率,σII(ρ)(X, i)是玩家II基于ρ的选择（X，i）的概率\\ 路径仅终止于玩家I的状态\\ 如果找到一个反例，则分配奖励是严重程度（最小距离）的倒数,否则，如果是其子项，则是奖励的加权总和\\ 因此，最大化回报的策略σI将需要最小化严重性sev_α(α'_ρ), \end{array}\\ 为σ=（σI，σII)和有限路径ρ∈⋃a∈{1,II}​PathaF​定义奖励R(σ,ρ)的想法是累积在路径上发现的对抗性示例的严重性度量注意，给定σ，该游戏成为完全概率系统(fully probabilistic system)。αρ′​=α（last（ρ））是与路径ρ的最后状态关联的图像t（ρ）:N(αρ′​)=c∨∥∥​αρ′​−α∥∥​k​>d,表示路径已达到其关联图像处于目标类别c或η(α,k,d)之外的状态只要满足t（ρ），就可以终止路径ρ不难发现，由于定义1中的约束，每个无限路径都有一个可以终止的有限前缀奖励函数定义如下:R（σ，ρ）=⎩⎨⎧​1/sevα​(α0′​)∑λ∈Λ(α)​(ρ)(λ)⋅R(σ,ρTT​(last(ρ),λ))∑(X,i)∈P(P0​)×I​σII​(ρ)(X,i)⋅R(σ,ρTII​(last(ρ),X,i)) if ρ∈PathIIF​​ if t(ρ) and ρ∈Path1F​ if ¬t(ρ) and ρ∈PathIF​​σI(ρ)(λ)是玩家I在ρ上选择λ的概率,σII(ρ)(X,i)是玩家II基于ρ的选择（X，i）的概率路径仅终止于玩家I的状态如果找到一个反例，则分配奖励是严重程度（最小距离）的倒数,否则，如果是其子项，则是奖励的加权总和因此，最大化回报的策略σI将需要最小化严重性sevα​(αρ′​),​

理解,就是按照给定方法搜索,直到满足距离条件,或者不在距离条件内就停止搜索

定义3.
$$\begin{gathered} 游戏的目标是让玩家I根据玩家II的策略\sigma II选择策略\sigma I最大化初始状态s0的奖励R（（\sigma I，\sigma II），s0），即 \\ \arg \underset{{\sigma }_{\mathrm{t}}}{\max }{\mathrm{opt}}_{{\sigma }_{\mathrm{I}\mathrm{I}}}R\left(\left({\sigma }_{\mathrm{I}},{\sigma }_{\mathrm{I}\mathrm{I}}\right),s_0\right) \\ 其中选项opt\sigma II可以是max\sigma II，min\sigma II或nat\sigma II \\ 玩家II可以根据高斯混合模型对像素进行采样,可以是合作者，对抗者或天生的， \end{gathered}$$
定理1
当 o p t σ I I ∈ { m a x σ I I , m i n σ I I , n a t σ I I } . 时 , 确 定 性 和 无 记 忆 策 略 足 以 满 足 玩 家 I 的 需 要 。 当optσII∈\{maxσII , minσII , natσII \}.时,确定性和无记忆策略足以满足玩家I的需要。 当optσII∈{maxσII,minσII,natσII}.时,确定性和无记忆策略足以满足玩家I的需要。

问题的复杂性

$$\begin{gathered} 对于博弈模型M（\alpha ，k，d）,在p-time时间内能确定advN，k，d（\alpha ，c）=\varnothing \\ 对于系统最长的有限路径的长度h,状态数（因此也就是系统的大小）O(|P_0{|}^h) \end{gathered}$$

蒙特卡罗树搜索渐近最优策略

$$\begin{array}{l}首先考虑opt\sigma II=max\sigma II的情况\\ MCTS算法通过对模型M（\alpha ，k，d）的策略空间进行采样来逐步扩展部分博弈树\\ MCTS以上限置信度上限（UCB）作为探索方案，在理论上即充分探索游戏树时，它会收敛至最优解\\ 终止条件:tc1和tc2,tc1控制整个过程是否应终止，tc2控制何时进行移动,终止条件可以是例如迭代次数的界限等\\ 在部分树上，每个节点都维护有一对（r，n），分别代表累积的奖励r和访问次数n\\ 扩展叶节点以将其子级添加到部分树后，我们调用Simulation在每个子节点上运行模拟。\\ 在新节点上进行的模拟是从节点开始的游戏直到终止为止\\ 玩家在模拟过程中随机行动。每个模拟在到达终止节点\alpha 0时终止，在该节点上可以计算奖励1/sev\alpha （\alpha 0）。\\ 然后，该奖励将从新子节点通过其祖先反向传播，直到到达根节点为止。\\ 每次通过节点反向传播新的奖励v时，我们都会将其关联对更新为（r+v，n+1）\\ bestChild（root）返回具有最高r/n值的root的子代\\ 其他情况:opt\sigma II=nat\sigma II的情况，通过选择G（\Lambda （\alpha ））来选择一个孩子，而不是选择最好的孩子，\\ 对于opt\sigma II=min\sigma II的情况，选择最差的孩子\\ 我们注意到当opt\sigma II\in nat\sigma II，max\sigma II时，博弈不是零和。\end{array}$$

MCTS算法

游戏中的严重性间隔

$$\begin{gathered} 假设我们有固定的终止条件tc1和tc2以及目标类别c,给定玩家II的选项opt\sigma II, \\ 我们有一个MCTS算法来计算对抗性示例{\alpha }^{\prime } \\ 设sev(M(\alpha ,k,d),opt\sigma II)为se{v}_{\alpha }({\alpha }^{\prime }) \\ 其中{\alpha }^{\prime }是通过在输入M（\alpha ，k，d），tc1，tc2，c上的opt\sigma II运行算法1而返回的对抗示例 \\ 于玩家II的角色，存在一个严重度区间SI（\alpha ，k，d） \\ \left[\mathrm{sev}\left(M(\alpha ,k,d),\underset{{\sigma }_{12}}{\max }\right),\mathrm{sev}\left(M(\alpha ,k,d),\underset{{\sigma }_{12}}{\min }\right)\right] \\ 此外,sev(M(\alpha ,k,d),nat\sigma II)\in SI(\alpha ,k,d) \end{gathered}$$

通过最佳策略保证安全

$$\begin{array}{l}\tau 是一个正实数,是像素操作中使用的操作幅度\\ 如果对于所有维度p\in P_0,我们都有|{\alpha }^{\prime }(p)-\alpha (p)|=n\ast \tau ,(n\ge 0)\\ 则图像{\alpha }^{\prime }\in \eta （\alpha ，k，d）是\tau -网格图像\\ 令G（\alpha ，k，d）是\eta （\alpha ，k，d）中的\tau 网格图像的集合\\ 对于参与者II合作的情况，我们有以下结论。\end{array}$$

定理2
$$\begin{gathered} 令{\alpha }^{\prime }\in \eta （\alpha ，k，d）是任何\tau 网格图像,使得{\alpha }^{\prime }\in ad{v}_{N,k,d}(\alpha ,c),(其中c是目标类别), \\ 那么我们有sev\alpha ({\alpha }^{\prime })\ge sev(M(\alpha ,k,d),ma{x}_{\sigma II}) \end{gathered}$$
从直觉上讲，该定理说该算法可以从τ网格图像集中找到最佳对抗示例

如果网络是Lipschitz连续网络，则仅当τ足够小时，才需要考虑τ网格图像。

定理3
$$\begin{gathered} 如果所有\tau 网格图像都是关于\tau /2的错误分类聚合器,并且sev(M(\alpha ,k,d),max\sigma II)>d, \\ 那么advN,k,d(\alpha ,c)=\varnothing \\ (注意，sev（M（\alpha ，k，d），max\sigma II）>d表示\eta （\alpha ，k，d）中的所有\tau 图像都不是对抗性示例。) \\ 该定理表明，要实现完整的安全性验证，可以逐渐减小\tau 直到sev（M（\alpha ，k，d），max\sigma II）\le d \end{gathered}$$
定义4
$$\begin{gathered} 若\alpha ,{\alpha }^{\prime }\in D,我们有|N({\alpha }^{\prime },N(\alpha ))-N(\alpha ,N(\alpha ))|<h\cdot ||{\alpha }^{\prime }-\alpha |{|}_k. \\ 那么网络N是关于距离L_k的Lipschitz网络,且h>0,。 \end{gathered}$$
理解:将a'分到a所在类的置信度减掉将a分到a所在类的置信度小于一个值,那么就是L网络

我们的常用网络都是L网络.
ℓ = min ⁡ { ∣ N ( α ′ , N ( α ) ) − N ( α , N ( α ) ) ∣ ∣ α , α ′ ∈ D , N ( α ′ ) ≠ N ( α ) } \ell=\min \left\{\left|N\left(\alpha^{\prime}, N(\alpha)\right)-N(\alpha, N(\alpha))\right| | \alpha, \alpha^{\prime} \in \mathrm{D}, N\left(\alpha^{\prime}\right) \neq N(\alpha)\right\} ℓ=min{∣N(α′,N(α))−N(α,N(α))∣∣α,α′∈D,N(α′)​=N(α)}
将l设为类别更改的最小置信度差,l的值在[0，1]之间

定理4可以看作定理3的实例化

定理4
$$\begin{gathered} 令N为关于L1的Lipschitz网络和常数h。 \\ 当\tau \le \frac{2\ell }{\hslash }且sev（M（\alpha ，k，d），max\sigma II）>d时，ad{v}_{N，k，d}（\alpha ，c）=\varnothing 。 \end{gathered}$$
理解: 保证安全一共有两个条件,一是t值的范围,二是严重性超过某个值

1/e-收敛,因为我们使用的是有限游戏，所以当游戏树完全扩展时，可以保证MCTS收敛

定理3和定理4证明略

如何评价用例的好坏?

$$\begin{gathered} {sev}_{\alpha }\left({\alpha }^{\prime }\right)=||\alpha -{\alpha }^{\prime }|{|}_k,是对抗例{\alpha }^{\prime }对原始图像\alpha 的严重程度 \\ 对于N张图片,直接求平均值就是该用例最终的严重性值,这个值越小越好 \\ (越小代表距离越小,代表这个反例就越好) \end{gathered}$$

git地址

原项目地址,原项目有很多错误,无法运行程序

fork后项目地址,已经可以正确生成反例,代码在mnist实验中可以使用