探索与利用

探索与利用

一、序列决策任务中的基本问题

探索和利用

基于目前策略获取已知最优收益还是尝试不同的决策

• Exploitation执行能够获得已知最优收益的决策
  利用现在已知的认知，选择当前最好策略
• Exploration尝试更多可能的决策，不一定会是最优收益
  当前的最好策略不一定最优，通过探索找到可能的更优策略

$$\pi (当前策略)\ne {\pi }^{\ast }(最优策略)$$

探索过程中策略和价值函数的变化情况（可能发现更好的策略）：
ε t = { π t i ∣ i = 1 , … , n } → 探索 ε t + 1 = { π t i ∣ i = 1 , … , n } ∪ { π e j ∣ j = 1 , … , m } \varepsilon_{t} = \{\pi^{i}_{t} | i=1,\dots,n\} \xrightarrow[]{探索} \varepsilon_{t+1} = \{\pi^{i}_{t} | i=1,\dots,n\}\cup \{\pi^{j}_{e}|j=1,\dots,m\} εt​={πti​∣i=1,…,n}探索 ​εt+1​={πti​∣i=1,…,n}∪{πej​∣j=1,…,m}

∃ V ∗ ( ⋅ ∣ π t i ∼ ε t ) ≤ V ∗ ( ⋅ ∣ π t + 1 i ∼ ε t + 1 ) π t + 1 i ∼ { π e i ∣ i = 1 , … , m } \exist{V^{*}}(\cdot|\pi^{i}_{t}\sim\varepsilon_{t})\leq V^{*}(\cdot|\pi^{i}_{t+1}\sim\varepsilon_{t+1}) \qquad \pi^{i}_{t+1}\sim\{\pi^{i}_{e}|i=1,\dots,m\} ∃V∗(⋅∣πti​∼εt​)≤V∗(⋅∣πt+1i​∼εt+1​)πt+1i​∼{πei​∣i=1,…,m}

例子：餐厅吃饭（探索和利用的关系）

• 总是选择自己熟悉的餐厅,即利用当前的最优策略（Exploitation）
• 偶尔选择自己没有去过的餐厅，对其他策略的探索（Exploration）

二、策略探索的一些原则

• 朴素方法（Naive Exploration）
  添加策略噪声$ϵ-greedy$
• 积极初始化（Optimistic Initialization）
  给价值函数较高的初始化
• 基于不确定性的度量（Uncertainty Measurement）
  尝试具有不确定收益的策略，可能带来更高的收益
• 概率匹配（Probability Matching）
  基于概率选择最佳策略
• 状态搜索（State Searching）
  探索后续状态可能带来更高收益的策略

三、多臂老虎机

多臂老虎机的定义

多臂老虎机（Multi-arm Bandit）问题的形式化描述
$$⟨\mathcal{A},\mathcal{R}⟩$$
动作集合：
$$a^i\in \mathcal{A},i=1,\dots ,K$$
收益（反馈）函数分布：
$$\mathcal{R}(r|a^i)=\mathbb{P}(r|a^i)$$
最大化累积时间的收益：
$$\max \sum _{t=1}^T{r}_t，r_t\sim \mathcal{R}(\cdot |a)$$

收益估计

期望收益和采样次数的关系：
$$Q_n(a^i)=\frac{r_1+r_2+\cdots +r_{n-1}}{n-1}$$
缺点：每次更新的空间复杂度是$O(n)$

增量实现：
$$Q_{n+1}(a^i):=\frac{1}{n}\sum _{i=1}^n{r}_i=\frac{1}{n}\left(r_n+\frac{n-1}{n-1}\sum _{i=1}^{n-1}{r}_i\right)=\frac{1}{n}{r}_n+\frac{n-1}{n}{Q}_n=Q_n+\frac{1}{n}(r_n-Q_n)$$
误差项： ${\Delta }_n^i$
空间复杂度： $O(1)$

算法：多臂老虎机

1. 初始化：$Q(a^i):=c^i,N(a^i)=0,i=1,\dots ,n$
2. 主循环 $t=1:T$
   1. 利用策略 $\pi$ 选取某个动作 $a$
   2. 获取收益：$r_t=Bandit(a)$
   3. 更新计数器：$N(a):=N(a)+1$
   4. 更新估值：$Q(a):=Q(a)+\frac{1}{N(a)}[r_t-Q(a)]$

Regret函数

决策的期望收益：
$$Q(a^i)={\mathbb{E}}_{r\sim \mathbb{P}(r|a^i)}[r|a^i]$$
最优收益：
$$Q^{\ast }=\underset{a^i\in \mathcal{A}}{\max }Q(a^i)$$
决策与最优决策的收益差：
$$R(a^i)=Q^{\ast }-Q(a^i)$$
Total Regret 函数：
$${\sigma }_R={\mathbb{E}}_{a\sim \pi }[\sum _{t=1}^{T}R(a_t^i)]$$
等价性：
$$\min {\sigma }_R=\max {\mathbb{E}}_{a\sim \pi }[\sum _{t=1}^{T}Q(a_t^i)]$$

随着时间推移，单步regret越来越小

如果一直探索新策略：${\sigma }_R\propto T\cdot R$ ，total regret将线性递增，无法收敛
如果一直不探索新策略：${\sigma }_R\propto T\cdot R$ ，total regret将线性递增

是否存在一个方法具有次线性（sublinear）收敛保证的regret？

下届（Lai & Robbins）

使用 ${\Delta }_a=Q^{\ast }-Q(a)$ 和反馈函数分布相似性：$D_{KL}(\mathcal{R}(r|a)||{\mathcal{R}}^{\ast }(r|a))$ 描述
$$\underset{T\to \infty }{\lim }{\sigma }_R\ge \log T\sum _{a|{\Delta }_a>0}\frac{{\Delta }_a}{D_{KL}(\mathcal{R}(r|a)\Vert {\mathcal{R}}^{\ast }(r|a))}$$
以$O(\log T)$的速度收敛

四、策略探索的方法

贪心策略和 $ϵ-greedy$ 策略

• 贪心策略

  $$Q(a^i)=\frac{1}{N(a^i)}\sum _{t=1}^T{r}_t\cdot 1(a_t=a^i)$$

  $$a^{\ast }=\arg \underset{a^i}{\max }Q(a^i)$$

  $${\sigma }_R\propto T\cdot [Q(a^i)-Q^{\ast }]$$

  线性增长的Total Regret

• $ϵ-greedy$策略
  $$a_t=\{\begin{array}{ll}\arg \underset{a}{\max }Q(a)& 1-ϵ\\ U(0,|\mathcal{A}|)& ϵ\end{array}$$

  常量$ϵ$保证total regret满足
  $${\sigma }_R\ge \frac{ϵ}{\left|\mathcal{A}\right|}\sum _{a\in \mathcal{A}}{\Delta }_a$$
  Total Regret仍然是线性递增的，只是增长率比贪心策略小

• 衰减贪心策略
  $ϵ-greedy$ 的变种，$ϵ$ 随着时间衰减
  理论上对数渐进收敛
  一种可能的衰减方式：

  $$c\ge 0,d=\underset{a|{\Delta }_a>0}{\min }{\Delta }_a,{ϵ}_t=\min \left\{1,\frac{c|\mathcal{A}|}{d^{2}t}\right\}$$

  缺点：很难找到合适的衰减规划

不同 $ϵ-greedy策略对比$

• Total Regret

• 平均收益

积极初始化

给 $Q(a^i)$ 一个较高的初始化值
增量式蒙特卡洛估计更新 $Q(a^i)$

$$Q(a^i):=Q(a^i)+\frac{1}{N(a^i)}(r_t-Q(a^i))$$

有偏估计，但是随着采样增加，这个偏差带来的影响会越来越小

但是仍然可能陷入局部最优，可能会出现最优策略估计的过低而一直无法被选择的情况

显式地考虑动作的价值分布

考虑以上三个动作的价值分布，平衡探索和利用，选择哪个动作？

1. 显式地鼓励不确定性
2. 直接根据分布采样来选择

基于不确定性测度

不确定性越大的$Q(a^i)$，越具有探索的价值，有可能会是最好的策略
一个经验性指导：

• $N(a)$大，$U(a)$小
• $N(a)$小，$U(a)$大

策略

$$\pi :a=\arg \underset{a\in \mathcal{A}}{\max }\hat{Q}(a)+\hat{U}(a)$$

也称为UCB：上置信界法（Upper Confidence Bounds）

UCB：上置信界

Hoeffding不等式：

$$\mathbb{P}[\mathbb{E}[x]>{\bar{x}}_t+u]\le e^{-2t{u}^2}forx\in [0,1]$$

为每一个动作收益估值估计一个上置信界：$\hat{U}(a)$
显然有：$Q_t(a)\le {\hat{Q}}_t(a)+{\hat{U}}_t(a)$以一个概率$p$不成立（Hoeffding不等式）

依据以下原则挑选进行决策：

$$a=\arg \underset{a\in \mathcal{A}}{\max }{\hat{Q}}_t(a)+{\hat{U}}_t(a)$$

$$e^{-2N_t(a)U_t(a{)}^2}=p⟶{\hat{U}}_t(a)=\sqrt{-\frac{\log p}{2N_t(a)}}$$

收敛性：

$$\underset{t\to \infty }{\lim }{\sigma }_R\le 8\log t\sum _{a|{\Delta }_a>0}{\Delta }_a$$

Thompson Sampling方法

想法：根据每个动作成为最优的概率来选择动作

$$p(a)=\int \prod [{\mathbb{E}}_{p(Q(a))}[Q(a;\theta )]=\underset{a^{\prime }\in \mathcal{A}}{\max }{\mathbb{E}}_{p(Q(a^{\prime }))}(Q(a^{\prime };\theta ))]d\theta$$
实现：根据当前每个动作$a_i$的价值概率分布$p(Q(a_i))$来采样到其价值$Q(a_i)$，选择价值最大的动作

实验：K-arm多臂老虎机，用Beta分布建模每个arm的成功率，初始化成功率分布为Beat(1,1)

$$Beta(x;\alpha ,\beta )\propto x^{\alpha -1}(1-x{)}^{\beta -1}$$

Thompson Sampling和UCB的实验对比

• K-arms
• The best arm has reward probability of 0.5
• K-1 other arms have the reward probability of $0.5-ϵ$
• Asymptotic lower bound(Lai & Robbins)

五、探索与利用总结

• 探索和利用是强化学习的trial-and-error中的必备技术
• 多播老虎机可以被看成是无状态（state-less）强化学习
  只需要关注对每个动作的认知，没有环境给的状态
• 多臂老虎机是研究探索与利用技术理论的最佳环境
• 理论的渐进最优regret为$O(\log T)$
• $ϵ-greedy$、UCB和Thompson Sampling方法在多臂老虎机任务中十分常用，在强化学习的探索中也十分常用，最常见的是$ϵ-greedy$

六、常见问题

Epsilon greedy在强化学习中得到了很广泛的应用，但是作为更加有效的方法，Thompson Sampling和UCB更多地只出现在Multi-Arm Bandit中，在强化学习中很少看到，是什么导致的这一现象呢？

• Epsilon greedy在RL里面是做探索的方法。其实RL领域也有不少其他的做探索的方法，只是专门在做探索，所以就不仅仅是UCB或者TS这种MAB的经典方法了。
• 例如，在树结构博弈里面UCB叫UCT（Upper Confidence bounds applied to Trees）
• Epsilon greedy用的多而UCB、Thompson Sampling等方法用的少，我觉得主要是因为RL的大部分value function都是点估计，也就是说$V(s)$和$Q(s,a)$都是给出一个数值。

如何理解积极初始化的Q是一个有偏估计，但是这个偏差带来的影响会随着采样增加而降低。

• Q是有偏估计是因为本页讨论的积极初始化方法为了加强探索给了所有的$Q(a)$一个较高的初始值（这样没有探索过action的就有较高Q值，会优先被选择），这样的Q相对于真实的Q分布显然是有偏的。
• 而随着采样的增加和增量式蒙特卡洛更新，每个$Q(a^i)$的过高初始值会逐渐收敛到采样到的奖励$r_t$的平均值，这个过高初始值带来的偏差也就慢慢降低了。