一种强化学习在NLP文本分类上的应用模型

在胳膊骨折修养的这段期间，系统的学习了一下强化学习相关的知识。正好今天看到了黄民烈老师团队2018年在AAAI上发表的paper《Learning Structured Representation for Text Classification via Reinforcement Learning》。

这篇paper以文本分类作为主要的任务，运用强化学习提出了两个模型：ID-LSTM和HS-LSTM，其中ID-LSTM用来自动地把一句话中和目标任务无关的词语删除掉，起到简化句子的作用；HS-LSTM则是用来自动地从句子中抽取phrase，从而更好的帮助模型进行文本分类。

首先这两个模型都由三个部分组成：Policy Network(PNet)，structured representation models和Classification Network (CNet)。这里的PNet对应t时刻采用动作$\alpha$动作的概率为:$\pi ({\alpha }_t|s_t;\theta )=\sigma (W\ast s_t+b)$。公式中的$W$和$b$都是PNet的网络参数。在训练阶段，采用的动作${\alpha }_t$由上述公式根据概率分布采样得到；而在预测阶段，则是直接挑选概率最大的${\alpha }_t$所对应的动作。很显然，在该场景下的reward其实就是经过处理之后，该句子被CNet预测为正确label的概率。最终PNet网络的梯度计算公式为：${\nabla }_{\theta }J(\theta )={\sum }_{t=1}^L{R}_L{\nabla }_{\theta }log{\pi }_{\theta }({\alpha }_t|s_t)$.

Information Distilled LSTM (ID-LSTM)
在该模型中，action集合中总共有两个动作：Retain和Delete，使用的基础模型是基于LSTM的，只不过不同时刻针对不同动作LSTM的运作方式和传统的比稍有不同：
if ${\alpha }_t=retain$ then $c_t,h_t=LSTM(c_{t-1},h_{t-1},x_t)$
if ${\alpha }_t=delete$ then $c_t,h_t=c_{t-1},h_{t-1}$
具体流程如下图所示：

而对于state的定义则有$s_t=c_{t-1}⨁h_{t-1}⨁x_t$
那么很简单，CNet对应的分类公式为$P(y|X)=softmax(W_s\ast h_L+b_s)$
最终PNet部分的Reward定义为：$R_L=logP(c_{true}|X)+\gamma L^{‘}/L$，其中$L^{‘}$代表了被删除的word数量（意思是鼓励机器去多删除一些word），$\gamma$用来权衡这个力度。

Hierarchically Structured LSTM (HS-LSTM)
在该模型中，action集合中总共有两个动作：Inside和End，使用的模型是2个层次化的LSTM，一个用来将word转化成phrase向量，另一个将生成的phrase向量转化成Sentence 向量。
针对phrase向量生成器来说，其LSTM运作公式如下：
if ${\alpha }_t=End$ then $c_t^w,h_t^w={\varphi }^w(0,0,x_t)$
if ${\alpha }_t=Inside$ then $c_t^w,h_t^w={\varphi }^w(c_{t-1}^w,h_{t-1}^w,x_t)$

对于Sentence向量生成器来说，其LSTM运作公式如下：
if ${\alpha }_t=End$ then $c_t^p,h_t^p={\varphi }^p(c_{t-1}^p,h_{t-1}^p,h_t^w)$
if ${\alpha }_t=Inside$ then $c_t^p,h_t^p=c_t^{p-1},h_t^{p-1}$
具体方式如下图所示：

在该场景下，对于state的定义则有$s_t=c_{t-1}^p⨁h_{t-1}^p⨁c_t^w⨁h_t^w$
CNet对应的分类公式为$P(y|X)=softmax(W_s\ast h_L^p+b_s)$
最终PNet部分的Reward定义为：$R_L=logP(c_{true}|X)+\gamma (L^{‘}/L+0.1L/L^{‘})$，其中$L^{‘}$代表了被删除的word数量，当$L^{‘}取值为0.316L时$ $L^{‘}/L+0.1L/L^{‘}$会取到最大的Reward。作者之所以这样设置参数，是因为他发现在他的语料库中，一个包含了L个word的一句话中，平均的phrase个数为0.316L。

和所有的深度强化学习网络一样，这样的网络是十分难以训练的（即直接训练的话，网络损失函数机会不会收敛）。因此在训练的时候，需要一定的技巧，作者分为以下3个步骤：

1 预训练CNet网络和分类网络参数；对于ID-LSTM直接使用原始的不经过删减的句子进行预训练；对于HD-LSTM则先使用简单的启发式算法对原始句子中的word进行划分phrase处理；
2 固定住CNet部分网络参数，对PNet网络参数进行预训练操作；
3 Jointly 训练整个网络参数。

这篇paper提出的模型其实可以用到任何序列处理的任务中去（比方说对于CTR预估场景下的用户一系列行为的建模），这也是未来值得探索的方向之一。