论文笔记-Hybrid Retrieval-Generation Reinforced Agent for Medical Image Report Generation

论文笔记-Hybrid Retrieval-Generation Reinforced Agent for Medical Image Report Generation

创新点：混合检索生成＋强化学习

report 包括finding，impression，comparison和indication。其中finding部分的内容包括心脏大小、肺阴影、骨结构、肺、主动脉、肺门等部位的异常，以及积液、气胸、实变等潜在疾病的内容。并发现这些内容是有顺序的，例如心脏大小，纵隔轮廓，然后是肺不清，明显的异常，然后是轻度或潜在的异常。

总体框架

论文建立一个层次结构框架，首先使用cnn提取图像特征转化成上下文向量然后通过增加了注意力机制的rnn，生成一系列句子主题，然后预测每个主题的句子词汇，使用retrieval policy module模块判断主题然后决定是通过generation module自动生成句子还是在模板库（模板数据库是基于从可用的医疗报告中收集的人类先验知识建立的，由一组在训练语料库中经常出现的句子组成，通常描述一般的观察）中检索特定句子然后通过分层决策依次生成多个句子。然后利用强化学习（增强算法）在句子级和词级奖励分别训练retrieval policy module和generation module。

细节

• rnn的主题生成过程$c_i^s$为生成的上下文向量，$h_i^s$为当前时间步隐藏向量，$q_i$为生成的主题，$z_i$为句子主题生成的控制概率[0,1]
  
• retrieval policy module：给一个生成主题$q_i$，预测在自动生成生成新句子和候选模板|T|中的概率$u_i\in R^{1+|T|}$，$u_0$表示自动生成的概率，后面的表示在T中选择模板的概率，$m_i$是概率最高的索引，如果$u_0$最大，则进行generation module，如果其他的大，则在候选模板中选择概率最大的模板作为生成句子
  
• Generation module：基于生成主题$q_i$和图像上下文向量$h^v$作为原始输入的RNN，$h_{i,t}^g$为当前时间步的隐藏向量，$a_t$为所有词的概率分布，$y_t$为取最大的概率索引单词为one-hot，$e_{i,t}$为该序列生成的单词
  
• 强化学习：句子奖励：生成的第i个句子$y_i\text{yi}{y}_i=(y_{i,1},y_{i,2},...,y_{i,N},)$计算CIDEr得分
  
  词级奖励：
  

gt为真实报告

• 损失函数：$Y$为生成报告，$Y^{\ast }$为真实报告

$1()$为二进制指示器，$z_i$为上面提到的主题生成的控制概率，$m_i$是上面提到的最大索引，$L(\theta )$有两部分组成，retrieval policy module中的损失$L({\theta }_r)$和generation module中的损失$L({\theta }_g)$。$L({\theta }_r)$由句子级奖励影响，其中${\theta }_r$包括前面retrieval policy module中的参数$W_u$和$b_u$。

$L({\theta }_g)$由词级奖励影响，其中${\theta }_g$由前面generation module中的$W_y$、$b_y$和$W_e$等其隐藏参数构成。