Bandit Algorithm教材学习笔记

---

参考资料

• https://banditalgs.com/2016/08/01/table-of-contents/

  https://tor-lattimore.com/downloads/talks/2018/aaai/finite-armed-bandits.pdf

  教材的官网讲解

• https://www.bilibili.com/read/cv6567364/
  https://www.bilibili.com/video/BV1ki4y1x7cE
  滴滴推荐系统的讲座，讲到了MBA和Contextual Bandits

• https://www.cnblogs.com/kuliuheng/p/13808346.html
  $UCB$的讲解

---

1 Part 3 Adversarial Bandits with Finitely Many Arms

参考资料

• https://banditalgs.com/2016/10/01/adversarial-bandits

1.1 adversarial bandit基本内容

和stochastic bandit相比，adversarial bandit的主要区别主要在于$reward$是如何生成的，stochastic的$reward$是根据一个确定的分布（如高斯）生成的；adversarial的$reward$是由环境 $\nu =(x_1,\dots ,x_n)\in [0,1{]}^{Kn}$给出，相当于adversary从一个表中给出$reward$。

stochastic的$UCB$算法每一轮选择的arm是确定的，即当置信区间上界（UCB）最高的那一个；而adversarial的$Exp3$算法选择arm是不确定的，每一轮会生成一个关于$k$个arm的概率分布$P_{t1},P_{t2},...P_{tk}$，由概率分布来确定本轮选择的arm。

---

1.2 Exp3算法及其regret分析

其中估计值 X ^ t i = 1 − I { A t = i } P t i   ( 1 − X t )   \hat X_{ti} = 1- \frac{\mathbb{I}{\{A_t=i}\}}{P_{ti}}\,(1-X_t)\, X^ti​=1−Pti​I{ At​=i}​(1−Xt​)

每一轮根据估计值，计算每个arm的概率，根据概率分布去随机选择arm，并不是像$UCB$那样选择得分最高的那个arm，因此每轮$reward$就是${\mathbb{E}}_{t-1}[X_t]={\sum }_{i=1}^k{P}_{ti}{x}_{ti}$

希望$regret$的期望比较小，是$n$的sublinear，达到$o(n)$，这样${\lim }_{n\to +\infty }\frac{R_n}{n}=0$

---

1.2.1 证明：$R(\pi ,x)\le 2\sqrt{nklog(k)}$

定义$R_{n,i}$，就是把最优arm换成了$i$，来计算$regret$
$$R_{n,i}=\sum _{t=1}^n{x}_{ti}–\mathbb{E}\left[\sum _{t=1}^n{X}_t\right]=\mathbb{E}\left[{\hat{S}}_{ni}\right]-\mathbb{E}\left[\sum _{t=1}^n\sum _{i=1}^k{P}_{ti}{\hat{X}}_{ti}\right]=\mathbb{E}\left[{\hat{S}}_{ni}-{\hat{S}}_n\right]$$$$\begin{gathered} {\hat{S}}_{ni}=\sum _t{\hat{X}}_{ti} \\ \mathbb{E}\left[{\hat{S}}_{ni}\right]=\sum _{t=1}^n{x}_{ti} \\ {\hat{S}}_n=\sum _{t,i}{P}_{ti}{\hat{X}}_{ti} \end{gathered}$$根据$P_{ti}$的格式带着$exp$，仿照其分母，定义
$$W_t=\sum _{j=1}^k\exp \left(\eta {\hat{S}}_{tj}\right)$$

$$\begin{gathered} \frac{W_t}{W_{t-1}}=\sum _j\frac{\exp (\eta {\hat{S}}_{t-1,j})}{W_{t-1}}\exp (\eta {\hat{X}}_{tj})=\sum _j{P}_{tj}\exp (\eta {\hat{X}}_{tj}) \\ \le 1+\eta \sum _j{P}_{tj}{\hat{X}}_{tj}+{\eta }^2\sum _j{P}_{tj}{\hat{X}}_{tj}^2 \\ \le \exp (\eta \sum _j{P}_{tj}{\hat{X}}_{tj}+{\eta }^2\sum _j{P}_{tj}{\hat{X}}_{tj}^2) \end{gathered}$$

利用了$\exp (x)\le 1+x+x^2$，$1+x\le exp(x)$，满足${\hat{x}}_{tj}\le 1$

在这里，使用另外一种放缩，可以得到更好的$R(\pi ,x)\le \sqrt{2nklog(k)}$，在后面讲

对$\exp (\eta {\hat{S}}_{ni})$放缩同时将上面代入，有
$$\begin{gathered} \exp (\eta {\hat{S}}_{ni})\le \sum _j\exp (\eta ({\hat{S}}_{nj}))=W_n=W_0\frac{W_1}{W_0}\dots \frac{W_n}{W_{n-1}} \\ \le k\exp (\eta \sum _j{P}_{tj}{\hat{X}}_{tj}+{\eta }^2\sum _j{P}_{tj}{\hat{X}}_{tj}^2) \end{gathered}$$得到
$${\hat{S}}_{ni}–{\hat{S}}_n\le \frac{\log (K)}{\eta }+\eta \sum _{t,j}{P}_{tj}{\hat{X}}_{tj}^2$$其中$y_{tj}=1-x_{tj}$，$Y_t=1-X_t$，拆开平方

令$\eta =\sqrt{\log (K)/(nk)}$时，得到结论
$$R_n\le R_{ni}\le \frac{\log (K)}{\eta }+\eta nk=2\sqrt{nklog(k)}$$

---

1.2.2 证明：$R(\pi ,x)\le \sqrt{2nklog(k)}$

放缩的时候改变一下策略，应用$exp(x)\le 1+x+\frac{x^2}{2}$，满足$({\hat{X}}_{tj}-1)\le 0$，以及$1+x\le exp(x)$
$$\exp (\eta {\hat{X}}_{tj})=\exp (\eta )\exp (\eta ({\hat{X}}_{tj}-1))\le \exp (\eta )\left\{1+\eta ({\hat{X}}_{tj}-1)+\frac{{\eta }^2}{2}({\hat{X}}_{tj}-1{)}^2\right\}$$由${\sum }_j{P}_{tj}=1$
$$\frac{W_t}{W_{t-1}}=\sum _j{P}_{tj}\exp (\eta {\hat{X}}_{tj})\le exp(\eta )\left[1-\eta +\sum _j{P}_{tj}\left(\eta {\hat{X}}_{tj}+\frac{{\eta }^2}{2}({\hat{X}}_{tj}-1{)}^2\right)\right]$$$$\exp \left(\eta \sum _j{P}_{tj}{\hat{X}}_{tj}+\frac{{\eta }^2}{2}\sum _j{P}_{tj}({\hat{X}}_{tj}-1{)}^2\right)$$
令${\hat{Y}}_{tj}=1-{\hat{X}}_{tj}=\frac{A_{tj}}{P_{tj}}{y}_{tj}$，
$$P_{tj}({\hat{X}}_{tj}-1{)}^2=P_{tj}{\hat{Y}}_{tj}{\hat{Y}}_{tj}=A_{tj}{y}_{tj}{\hat{Y}}_{tj}\le {\hat{Y}}_{tj}、$$
因此
$$\frac{W_t}{W_{t-1}}\le =\exp \left(\eta \sum _j{P}_{tj}{\hat{X}}_{tj}+\frac{{\eta }^2}{2}\sum _j{\hat{Y}}_{tj}\right)$$和之前一样，将$\exp (\eta {\hat{S}}_{ni})$的放缩代入，有
$${\hat{S}}_{ni}–{\hat{S}}_n\le \frac{\log (K)}{\eta }+\frac{\eta }{2}\sum _{t,j}{\hat{Y}}_{tj}$$由$\mathbb{E}(x)=\mathbb{E}({\mathbb{E}}_{t-1}x)$
$$\mathbb{E}\left(\sum _j{\hat{Y}}_{tj}\right)=\mathbb{E}\left(\sum _j{\mathbb{E}}_{t-1}{\hat{Y}}_{tj}\right)=\mathbb{E}\left(\sum _j{y}_{tj}\right)\le nk$$
令$\eta =\sqrt{2log(K)/(nk)}$时，得到结论
$$R_n\le R_{ni}\le \frac{\log (K)}{\eta }+\frac{\eta nk}{2}=\sqrt{2nklog(k)}$$

---

1.2.3 两种证明的比较

比较两个不同的结果，区别就是在放缩$\frac{W_t}{W_{t-1}}={\sum }_j{P}_{tj}\exp (\eta {\hat{X}}_{tj})$的$\exp (\eta {\hat{X}}_{tj})$部分采用了不同的不等式，最终的差别结果是：
$${\hat{S}}_{ni}–{\hat{S}}_n\le \frac{\log (K)}{\eta }+\eta \sum _{t,j}{P}_{tj}{\hat{X}}_{tj}^2$$

$${\hat{S}}_{ni}–{\hat{S}}_n\le \frac{\log (K)}{\eta }+\frac{\eta }{2}\sum _{t,j}{\hat{Y}}_{tj}$$

可以看到只有后半项是不同的，是采用了不同的不等式的结果。

---

1.3 Exp3-IX算法及其regret分析

$Exp3$和$Exp3-IX$的区别：

• $Exp$