Online RL + IL : TGRL: An Algorithm for Teacher Guided Reinforcement Learning

ICML 2023 Poster
paper

Intro

文章设定一个专家策略，给出两种优化目标。一个是基于专家策略正则的累计回报，一个是原始累计回报。通过比较二者动态的衡量专家策略对智能体在线学习的影响程度，进而实现在线引导过程。

Method

原始的RL目标是最大化累计奖励:${\pi }^{\ast }=\arg {\max }_{\pi }{J}_R(\pi ):=\mathbb{E}\left[{\sum }_{t=0}^{\infty }{\gamma }^t{r}_t\right]$。而本文设置一个专家策略，通过监督学习形式对原始奖励正则，构造一种新的优化目标
$$\underset{\pi }{\max }{J}_{R+I}(\pi ,\alpha )=\underset{\pi }{\max }\mathbb{E}\left[\sum _{t=0}^H{\gamma }^t(r_t-\alpha H_t^X(\pi |\bar{\pi }))\right]$$
其中$H_t^X(\pi |\bar{\pi })=-{\mathbb{E}}_{a\sim \pi (\cdot |{\tau }_t)}[\log \bar{\pi }(a|o_t^T)]$。文章认为，基于奖励正则所得到的策略应该较优，即执行该策略所获得的累计奖励大于原始目标下的策略。形式化该问题便得到算法核心的优化目标
$$\underset{\pi }{\max }{J}_{R+I}(\pi ,\alpha )\text{s.t.}{J}_R(\pi )\ge J_R({\pi }_R)$$
其中${\pi }_R$是只采用任务原始奖励所优化的辅助策略。进一步转化为拉格朗日对偶问题
$$\begin{gathered} \underset{\lambda \ge 0}{\min }\underset{\pi }{\max }\left[J_{R+I}(\pi ,\alpha )+\lambda \left(J_R(\pi )-J_R({\pi }_R)\right)\right]= \\ \underset{\lambda \ge 0}{\min }\underset{\pi }{\max }\left[(1+\lambda )J_{R+I}(\pi ,\frac{\alpha }{1+\lambda })-\lambda J_R({\pi }_R)\right] \end{gathered}$$
解决该问题分两步，第一步优化策略$\pi$以及${\pi }_R$。然后通过梯度下降优化乘子$\lambda$
$${\lambda }_{new}={\lambda }_{old}-\mu [J_R(\pi )-J_R({\pi }_R)]$$
其中$J_R(\pi )-J_R({\pi }_R)={\mathbb{E}}_{(s,a,t)\sim \rho }[{\gamma }^t(A_{{\pi }_R}(s,a)-A_{\pi }(s,a))]$

这个更新规则很直观：如果融合专家优化得到的策略$\pi$比辅助策略 ${\pi }_R$实现了更多的任务奖励，则$\lambda$减少，增加了 $\frac{\alpha }{1+\lambda }$，使得策略优化更依赖于下一次迭代中的专家。否则，如果 辅助策略${\pi }_R$比策略$\pi$获得更高的奖励，则 λ 的增加会降低教师的重要性。

伪代码

results

问题

伪代码第12行采用了梯度上升。