Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning 论文分享

一 . Background

一.引入

二.方法

• policy-based approach(learning an actor)
• value-based approach(learning a critic)
• actor+critic (A3C、A2C)

1.policy-based approach

1.1 开局一张图

1.2 机器学习三大步

step1：定义一个函数

step2:定义函数的好坏

假设让actor(定义为：${\pi }_{\theta }(s)$)玩一场游戏从开始到结束有这样一个轨迹：
τ = { s 1 , a 1 , r 1 , s 2 , a 2 , r 2 , … , s T , a T , r T } \tau=\{ s_1,a_1,r_1,s_2,a_2,r_2,\dots,s_T,a_T,r_T\} τ={s1​,a1​,r1​,s2​,a2​,r2​,…,sT​,aT​,rT​};
$R_{\theta }={\sum }_{t=1}^T{r}_t$;
由于actor和游戏具有随机性，故$R_{\theta }$是一个随机变量，故转而求它的期望值(${\bar{R}}_{\theta }$)的最大值;
期望：${\bar{R}}_{\theta }={\sum }_{\tau }R(\tau )p(\tau |\theta )$;
抽样 { τ 1 , τ 2 , … , τ N } \{\tau^1,\tau^2,\dots,\tau^N\} {τ1,τ2,…,τN}估计总体:
即：${\bar{R}}_{\theta }\approx \frac{1}{N}{\sum }_{n=1}^{N}R({\tau }^n)$

step3：选择最好的函数

1.目标函数：${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}{\bar{R}}_{\theta }$
2.梯度上升法(policy gradient)：${\theta }^{new}\leftarrow {\theta }^{old}+\eta ▽{\bar{R}}_{\theta }$
3.推导过程
R ˉ θ = ∑ τ R ( τ ) p ( τ ∣ θ ) ▽ R ˉ θ = ∑ τ R ( τ ) ▽ p ( τ ∣ θ ) = ∑ τ R ( τ ) p ( τ ∣ θ ) ▽ p ( τ ∣ θ ) p ( τ ∣ θ ) = ∑ τ R ( τ ) p ( τ ∣ θ ) ▽ log ⁡ p ( τ ∣ θ ) ≈ 1 N ∑ n = 1 N R ( τ n ) ▽ log ⁡ p ( τ n ∣ θ ) τ = { s 1 , a 1 , r 1 , s 2 , a 2 , r 2 , … , s T , a T , r T } p ( τ ∣ θ ) = p ( s 1 ) p ( a 1 ∣ s 1 , θ ) p ( r 1 , s 2 ∣ s 1 , a 1 ) p ( a 2 ∣ s 2 , θ ) p ( r 2 , s 3 ∣ s 2 , a 2 ) … = p ( s 1 ) ∏ t = 1 T p ( a t ∣ s t , θ ) p ( r t , s t + 1 ∣ s t , a t ) ▽ R ˉ θ ≈ 1 N ∑ n = 1 N ∑ t = 1 T n R ( τ n ) ▽ log ⁡ p ( a t n ∣ s t n , θ ) \begin{aligned}\bar{R}_\theta &=\sum_{\tau}R(\tau)p(\tau \vert \theta) \\ \triangledown \bar{R}_\theta &= \sum_{\tau}R(\tau)\triangledown{p(\tau \vert \theta)} \\ & =\sum_{\tau}R(\tau)p(\tau \vert \theta)\frac{\triangledown{p(\tau \vert \theta)}}{p(\tau \vert \theta)} \\ & =\sum_{\tau}R(\tau)p(\tau \vert \theta) \triangledown{\log p(\tau \vert \theta) } \\ & \approx \frac{1}{N}\sum_{n=1}^{N}R(\tau^n)\triangledown{\log p(\tau^n \vert \theta) } \\ \tau &=\{ s_1,a_1,r_1,s_2,a_2,r_2,\dots,s_T,a_T,r_T\} \\p(\tau \vert \theta) &=p(s_1)p(a_1 \vert s_1,\theta)p(r_1,s_2 \vert s_1,a_1)p(a_2 \vert s_2,\theta)p(r_2,s_3 \vert s_2,a_2) \dots \\ &=p(s_1)\prod_{t=1}^{T}p(a_t\vert s_t,\theta)p(r_t,s_{t+1} \vert s_t,a_t) \\ \triangledown \bar{R}_\theta & \approx \frac{1}{N}\sum_{n=1}^{N}\sum_{t=1}^{T_n}R(\tau^n) \triangledown \log p(a_t^n \vert s_t^n,\theta)\end{aligned} Rˉθ​▽Rˉθ​τp(τ∣θ)▽Rˉθ​​=τ∑​R(τ)p(τ∣θ)=τ∑​R(τ)▽p(τ∣θ)=τ∑​R(τ)p(τ∣θ)p(τ∣θ)▽p(τ∣θ)​=τ∑​R(τ)p(τ∣θ)▽logp(τ∣θ)≈N1​n=1∑N​R(τn)▽logp(τn∣θ)={s1​,a1​,r1​,s2​,a2​,r2​,…,sT​,aT​,rT​}=p(s1​)p(a1​∣s1​,θ)p(r1​,s2​∣s1​,a1​)p(a2​∣s2​,θ)p(r2​,s3​∣s2​,a2​)…=p(s1​)t=1∏T​p(at​∣st​,θ)p(rt​,st+1​∣st​,at​)≈N1​n=1∑N​t=1∑Tn​​R(τn)▽logp(atn​∣stn​,θ)​
结论：如果$R({\tau }^n)>0$,增加$p(a_t^n|s_t^n)$;如果$R({\tau }^n)<0$，减少$p(a_t^n|s_t^n)$;

4.改进
原因：从$▽{\bar{R}}_{\theta }\approx \frac{1}{N}{\sum }_{n=1}^N{\sum }_{t=1}^{T_n}R({\tau }^n)▽\log p(a_t^n|s_t^n,\theta )$中可以看出，在一场游戏中每一个动作的权重一样，假设$R({\tau }^n)>0$，不会${\tau }^n$中的每一个动作的奖励都是正的，也不会每一个动作是一样的重要，所以要给不同的动作设一个不同的权重；
法一：这个行为得到的奖励应该是行为发生及其以后的奖励总和
$$▽{\bar{R}}_{\theta }\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}(\sum _{t^{\prime }=t}^{T_n}{r}_{t^{\prime }}^n)▽\log p(a_t^n|s_t^n,\theta )$$

法二：由于发生某个行为后，它后面的奖励都可能是这个行为的后果，但是时间越久，这个行为的影响力越小
$▽{\bar{R}}_{\theta }\approx \frac{1}{N}{\sum }_{n=1}^N{\sum }_{t=1}^{T_n}({\sum }_{t^{\prime }=t}^{T_n}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^n)▽\log p(a_t^n|s_t^n,\theta )$

二.Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning

一.攻击目标

具体的目标：降低被害者的总奖励的期望值

二.存在的困难

• 环境是动态变化的并且

三.作者做的事

1.将以往的对抗攻击根据空间函数分为3类

• 空间1：攻击者误导agent采取非最优的行动;

• 空间2：攻击者要么误导agent采取非最优的行为，要么让agent采取原来的行为；

• 空间3：攻击者诱导agent学习有害的policy；

2.证明了空间1$\subseteq$空间2$\subseteq$空间3，且空间3是能产生最强的攻击者的空间；
3.根据空间3，将任务分为两个阶段的优化，第一阶段训练一个decisive policy，这个decisive policy可以去探索环境的动态变化，并且根据被更改的reward function，让decisive policy得到的总奖励的期望值最低；第二阶段将受害者模仿decisive policy，从而得到的总奖励的期望值最低.

四.具体内容

1.State-adversarial markov decision process(SA-MDP)

$$g^{\ast }=\underset{g\in G}{\mathrm{argmin}}{\mathbb{E}}_{a_t\sim {\pi }_g(\cdot |s_t),s_{t+1}\sim P_a(s_t,a_t)}\left[\sum _{t=0}^{\infty }{\gamma }^t{r}_t\right]$$
其中$G$:攻击者集合(attacker set)
攻击者(attacker)：$g\in G:S\to F(S)$
状态集合(state set)：$S$
在$S$上的分布：$F(S)$
折扣因子(discount factor)：$\gamma$
行为集合(action set)：$A$
跳转函数(transition function):$P_a:S\times A\to F(S)$
回报函数(reward function):$R:S\times A\times S\to \mathbb{R}$
策略(policy):$\pi :S\to F(A)$

2.Understanding adversarial attacks in function space

$H:$adversary的函数空间
$h(s_t)=s_t+{\delta }_{s_t}$
H = { h ∣ ∥ h ( s ) − s ∥ p ≤ ϵ , ∀ s ∈ S } H=\{ h \vert \|h(s)-s\|_p\leq\epsilon,\forall s\in S\} H={h∣∥h(s)−s∥p​≤ϵ,∀s∈S}
$h^{\ast }=\underset{h\in H}{\mathrm{argmin}}[{\mathbb{E}}_{a\sim {\pi }_h}{\sum }_{t=0}^{\infty }{\gamma }^t{r}_t]$