第二章 多臂老虎机（二）

最佳初始值

1. 有偏（bias）：
   定义：依赖于初始值的方法称为对初始值有偏。
2. 断言：样本平均方法遍历完所以动作之后，有偏会消失；常数步长因子方法不会。
   证明：$\because N(A)=1\Rightarrow Q(A)=Q(A)+\frac{1}{N(a)}(R-Q(A))=R$
3. 最佳初始值（optimistic initial values）:
   定义：能促进探索的初始值称为最佳初始值。
   例子：10-臂老虎机，令初始值$Q_1(a)=+5$。根据$ϵ$-贪心算法，所有的动作将会被遍历。如图1：
   
   
4. 习题：
   Ex.2.6. Mysterious Spikes： 图1中，早期为什么会出现震荡和脉冲？评价最佳初始值在早期的表现。
   解：对于常数步长因子方法，在遍历一遍之后，动作值普遍下降，实际值大的动作当前值也大，此时贪心算法会选择正确动作。但随着正确动作被选择次数增多，当前值会降低，此时贪心算法将会选择其他的动作，因此对于最佳动作选择比的形状图，形成了脉冲和震荡。
   Ex.2.7 Unbiased Constant-Step-Size Trick： 当我们既需要初始值无偏，又面对不稳定环境的时候，我们该怎么办呢？下面方法就是在常步长方法下的改良：
   令$${\beta }_n\doteq \alpha /{\bar{o}}_n$$
   其中$\alpha$是常数步长因子，
   $${\bar{o}}_n\doteq {\bar{o}}_{n-1}+\alpha (1-{\bar{o}}_{n-1}),with{\bar{o}}_0=0$$
   证明：$Q_n$初始值无偏。
   解：
   给定初始值$Q_1(a)=c$，要证明有限步之后，$Q_n(a)$与$Q_1(a)$无关，对于任意a。
   任意给定一个动作，当第二次选中这个动作时，$n=N(a)=2$，且
   $$\begin{gathered} {\bar{o}}_1={\bar{o}}_0+\alpha (1-{\bar{o}}_0)=\alpha \\ {\beta }_1=\alpha /{\bar{o}}_1=1 \\ \therefore Q_2(a)=Q_1(a)+{\beta }_1\left(R-Q_1(a)\right)=R \end{gathered}$$
   遍历所有动作后，消除有偏。

备注： 怎么看待这个改进？
解： 公式的不动点为1，即
$${\bar{o}}_n\to 1$$
因此，$${\beta }_n\to \alpha$$
具体形状如何呢？
下面给出实验性状图：图2是前提，对于常步长因子，$ϵ$的影响很大；图3和图4是不同$ϵ$下，bias和非bias的常步长因子方法的性状图比较；图5是加大有偏（$Q_1(a)\doteq 50$）的细节图；图6是不稳定情况下，bias、常步长与样本平均方法的比较。

图3、4、5说明，bias可以迅速消除有偏，图6说明，它可以一定程度保持常步长因子方法的抗不稳定性，至少与样本平均相比是更优的。

图2 常步长因子	图2 常步长因子
图3 常步长因子与bias	图3 常步长因子与bias
图4 常步长因子与bias	图4 常步长因子与bias
图5 常步长因子与bias	图5 常步长因子与bias
图6 三种方法	图6 三种方法

 
 

备注：如图7，事实上，对于不稳定环境，加入$ϵ$可以改善样本平均方法。

图7 三种方法

图7 三种方法

 
 

总结：
➀、bias与样本平均可以迅速消除有偏；
➁、bias与常步长有抗不稳定性；
➂、常步长不适合加入$ϵ$；
➃、样本平均加入$ϵ$可以各方面效果优异。（很大地改善不抗稳定性）