论文笔记-Generating Radiology Reports via Memory-driven Transformer

论文笔记-Generating Radiology Reports via Memory-driven Transformer

创新点：使用记忆驱动的transformer（将记录报告生成过程中关键信息的关系存储器使用归一化的方法整合到transformer中）

细节

• 视觉提取器：将给的图像通过预先训练的卷积神经网络cnn提取视觉特征 X = { x 1 , x 2 , . . . , x S } X=\{\pmb{x_1},\pmb{x_2},...,\pmb{x_S}\} X={x1​​x1​​​x1​,x2​​x2​​​x2​,...,xS​​xS​​​xS​}，这里$x_s\text{xs}{x}_s\in R^d$，根据图片中patch features部分我们可以看出，是每个点是$R^d$的向量，然后将编码的结果用于后续的模型
  

• 编码器：使用transformer编码器，对输入$x_i\text{xi}{x}_i$进行编码输出隐藏状态$h_i$
  

• 解码器：使用transformer解码器，另外引用一个内存模块，使用MCLN为每个解码层改进原始层归一化，下面公式为解码器公式， Y = { y 1 , y 2 , . . . , y T } Y=\{y_1,y_2,...,y_T\} Y={y1​,y2​,...,yT​}为最后生成报告的相应的目标序列，$y_i$为生成的标记
  
  具体的训练过程就变成了在给定img，以及标记输出的条件下用最大似然估计P(Y|Img)求模型参数$\theta$
  
  

  • 记忆存储器：增强transformer在模式中的学习能力。存储器在生成步骤使用矩阵一行一行记录存储重要的模式信息然后进行传输。

    在生成过程中，矩阵结合前面时间步的输出逐步更新，在时间步t上，将来自时间步t-1的矩阵$M_{t-1}$功能化为q，并与前面的输出连接为k和v送到multi-head attention模块，在multi head attention中每个head的q，k和v通过式子$Q=M_{t-1}\cdot W_q;K=[M_{t-1};y_{t-1}]\cdot W_k;V=[M_{t-1};y_{t-1}]\cdot W_v$求得，$y_{t-1}$是上一个时间步的输出嵌入。然后使用self attention公式 $Z=softmax(Q{K}^T/\sqrt{d_k})V$ 对q，k，v建模求得Z。

    考虑到该记忆存储器会随着解码递归方式执行会受到梯度消失和爆炸，因此引入剩余连接和门机制。

    • 剩余连接：使用多层感知器（MLP）
      

    • 门机制：首先使用forget gate和input gate来平衡$M_{t-1}$和$y_{t-1}$，并且为了确保这两项可以进行运算，将$y_{t-1}$复制多行，然后扩展为矩阵$Y_{t-1}$。这两个门的公式为：
      
      门机制最后的输出就变成了
      
      其中$\odot$表示为hadamard product。

      于是$M_t$为整个记忆存储在t时间步的输出。

      门机制的模型如下
      

  • Memory-driven Conditional Layer Normalization（MCLN）：将记忆存储的输出合并到$\gamma 和\beta$中，$\gamma 和\beta$在传统的transformer中分别用来放大学习表征和偏差矫正的。

    在transformer的解码层中使用了三个mcln，其中第一个的输出作为multi head attention中的q值，multi head attention的k和v值来自编码器。

    将RM的输出$M_t$将所有行连接扩展成向量$m_t\text{mt}{m}_t$，然后使用mlp预测其与$\gamma$和$\beta$的变化$\Delta \gamma$和$\Delta \beta$，用这两个变化更新$\gamma$$\beta$
    
    

    然后将这两个值应用到Multi head self attention的qui均值和偏差结果中。$r\text{r}r$指的是上一个模块的输出，$\mu$和$\nu$是$r\text{r}r$的均值和标准差