Offline RL: ResAct: Reinforcing Long-term Engagement in Sequential Recommendation ....

ICLR 2023
paper

Intro

文章研究顺序推荐系统中的强化学习问题，提出无需在线交互的离线方法ResAct。ResAct的工作流程包括三个阶段：重建、预测和选择。在重建阶段，通过监督学习重建在线服务策略。在预测阶段，对于每个重建的行为估计器，ResAct预测残差并将其应用到重建的行为上。在选择阶段，从所有改进的行为中选择最佳行为作为最终输出。

此外，ResAct还设计了两个信息论正则化器来提高状态表示的特征表达性和简洁性，以确保学习到的特征既包含关于长期参与度的充分信息，又能过滤掉冗余信息。

Method

在线行为重构：ResAct采用条件VAE对行为进行预测
$$L_{{\theta }_e,{\theta }_d}^{Rec}={\mathbb{E}}_{s,a_{on},c}\left[(D(a|s,c;{\theta }_d)-a_{on}{)}^2+KL(\mathcal{C}(s,a_{on};{\theta }_e)||\mathcal{N}(0,1))\right]$$
其中$\mathcal{C}$为Encoder得到的latent vector,

预测行为残差：由图可知，中间结构预测残差项，与重构的行为${\tilde{a}}_{on}$相加得到最终策略：${\tilde{a}}^i={\tilde{a}}_{on}^i+\Delta (s,{\tilde{a}}_{on}^i)$。对high-level的request编码得到$z_h$以及low-level的session编码得到$z_l$，二者concat后联合${\tilde{a}}_{on}$，输入到: f ( Δ ∣ s , a ~ o n ; θ f ) , θ f = { θ h , θ l , θ a } f(\Delta|s,\tilde{a}_{on};\theta_{f}), \theta_{f}=\{\theta_{h},\theta_{l},\theta_{a}\} f(Δ∣s,a~on​;θf​),θf​={θh​,θl​,θa​}到得到残差项。
$$z_h=f_h(s_h;{\theta }_h),z_l=f_l(s_l;{\theta }_l);z=Concat(z_h,z_l);\Delta =f_a(z,a;{\theta }_a)$$
最终策略可以表示为:
$$\hat{\pi }(a|s,c)=D({\tilde{a}}_{on}|s,c;{\theta }_d)+f(\Delta |s,{\tilde{a}}_{on};{\theta }_f)$$
对于策略网络的参数则是采用DPG的RL进行优化：
$$\begin{array}{rl}{\nabla }_{{\theta }_f}\mathcal{J}(\hat{\pi })& ={\mathbb{E}}_{s,c}\left[{\nabla }_a{Q}^{\hat{\pi }}(s,a){|}_{a=\hat{\pi }(a|s,c)}{\nabla }_{{\theta }_f}f(\Delta |s,a;{\theta }_f){|}_{a=D(a|s,c;{\theta }_d)}\right].\\ {\nabla }_{{\theta }_d}\mathcal{J}(\hat{\pi })& ={\mathbb{E}}_{s,c}\left[{\nabla }_a{Q}^{\hat{\pi }}(s,a){|}_{a=\hat{\pi }(a|s,c)}{\nabla }_{{\theta }_d}D(a|s,c;{\theta }_d)\right].\end{array}$$
价值函数则是采用TD3,最小化均方bellman损失函数优化：
L θ q j T D = E ( s t , a t , r t , s t + 1 ) [ ( Q j ( s t , a t ; θ q j ) − y ) 2 ] , j = { 1 , 2 } ; y = r t + γ min ⁡ [ Q 1 ′ ( s t + 1 , π ^ ′ ( a t + 1 ∣ s t + 1 ) ; θ q 1 ′ ) , Q 2 ′ ( s t + 1 , π ^ ′ ( a t + 1 ∣ s t + 1 ) ; θ q 2 ′ ) ] \begin{aligned}L_{\theta_{qj}}^{TD}&=\mathbb{E}_{(s_t,a_t,r_t,s_{t+1})}\left[(Q_j(s_t,a_t;\theta_{qj})-y)^2\right],j=\{1,2\};\\y&=r_t+\gamma\min\left[Q_1^{'}(s_{t+1},\hat{\pi}^{'}(a_{t+1}|s_{t+1});\theta_{q_1}^{'}),Q_2^{'}(s_{t+1},\hat{\pi}^{'}(a_{t+1}|s_{t+1});\theta_{q_2}^{'})\right]\end{aligned} Lθqj​TD​y​=E(st​,at​,rt​,st+1​)​[(Qj​(st​,at​;θqj​)−y)2],j={1,2};=rt​+γmin[Q1′​(st+1​,π^′(at+1​∣st+1​);θq1​′​),Q2′​(st+1​,π^′(at+1​∣st+1​);θq2​′​)]​

通过梯度上升对${\theta }_f$进行更新：
θ f ← θ f + ∇ θ f J ( π ^ ) , θ f = { θ h , θ l , θ a } \theta_f\leftarrow\theta_f+\nabla_{\theta_f}\mathcal{J}(\hat{\pi}),\theta_f=\{\theta_h,\theta_l,\theta_a\} θf​←θf​+∇θf​​J(π^),θf​={θh​,θl​,θa​}
对于${\theta }_d$则需要再次使用$L_{{\theta }_e,{\theta }_d}^{Rec}$:
$${\theta }_d\leftarrow {\theta }_d+{\nabla }_{{\theta }_d}\mathcal{J}(\hat{\pi })-{\nabla }_{{\theta }_d}{L}_{{\theta }_e,{\theta }_d}^{Rec}.$$

除此外，为了实现更好的状态特征提取，ResAct额外对于High-level特征提取器基于信息论的角度提出两个正则化项。
Expressiveness:要求提取的特征包含尽可能多的关于长期参与奖励的信息，即最大化$z_h$与$r(s,a)$的互信息
$$\begin{array}{rl}{I}_{{\theta }_h}(z_h;r)& \ge \int \int p_{{\theta }_h}(z_h)p(r|z_h)\log \frac{o(r|z_h;{\theta }_o)}{p\left(r\right)}\mathrm{d}{z}_h\mathrm{d}r;\\ & =\int \int p_{{\theta }_h}(z_h)p(r|z_h)\log o(r|z_h;{\theta }_o)\mathrm{d}{z}_h\mathrm{d}r+H(r),\end{array}$$
其中$H(r)=-\int p(r)\log p(r)\mathrm{d}r$。因此，原问题转化为最小化
$$L_{{\theta }_h,{\theta }_o}^{Exp}={\mathbb{E}}_{s,z_h\sim p_{{\theta }_h}(z_h|s_h)}\left[\mathcal{H}(p(r|s)||o(r|z_h;{\theta }_o))\right],$$

Conciseness：希望$z_h$足够简洁，可以从$s_h$中过滤掉冗余信息…该目标表示为最小化互信息$I_{{\theta }_h}(z_h;s_h)=\int \int p(s_h)p_{{\theta }_h}(z_h|s_h)\log \frac{p_{{\theta }_h}(z_h|s_h)}{p_{{\theta }_h}(z_h)}\mathrm{d}{s}_h\mathrm{d}{z}_h$, 由于$p_{{\theta }_h}(z_h)$无法计算，因此选择标准正态分布作为其变分近似, 则该互信息存在上界：
$$I_{{\theta }_h}(z_h;s_h)\le \int \int p(s_h)p_{{\theta }_h}(z_h|s_h)\log \frac{p_{{\theta }_h}(z_h|s_h)}{m(z_h)}\mathrm{d}{s}_h\mathrm{d}{z}_h.$$
最小化该上界:
$$\begin{array}{rl}{L}_{{\theta }_h}^{Con}& =\int p(s_h)\left[\int p_{{\theta }_h}(z_h|s_h)\log \frac{p_{{\theta }_h}(z_h|s_h)}{m(z_h)}\mathrm{d}{z}_h\right]\mathrm{d}{s}_h;\\ & ={\mathbb{E}}_s\left[KL(p_{{\theta }_h}(z_h|s_h)||m(z_h))\right].\end{array}$$

伪代码

而在执行策略时，通过采样的方法近似$\hat{\pi }(a|s)$
π ^ ( a ∣ s ) = π ^ ( a ∣ s , c ∗ ) ; c ∗ = arg ⁡ max ⁡ c Q 1 ( s , π ^ ( a ∣ s , c ) ; θ q 1 ) , c ∈ { c i ∼ N ( 0 , 1 ) } i = 0 n \begin{gathered}\hat{\pi}(a|s)=\hat{\pi}(a|s,c^*);\\c^*=\arg\max_cQ_1(s,\hat{\pi}(a|s,c);\theta_{q_1}),c\in\{c^i\sim\mathcal{N}(0,1)\}_{i=0}^n\end{gathered} π^(a∣s)=π^(a∣s,c∗);c∗=argcmax​Q1​(s,π^(a∣s,c);θq1​​),c∈{ci∼N(0,1)}i=0n​​