任务:
据作者说,英文的医疗影像报告同时具有两个描述,一个是FINDINGS,阐述了整个图像的细节与特点,还有一个是IMPRESSION,只重点描述图像中的关键信息,这些关键信息是包含在FINDINGS里面的。总之,本篇论文做的就是利用这个FINDINGS来生成IMPRESSION,即在文本摘要在医疗领域的应用。
模型:
Content Selector:
这个选择器采用序列标注的形式来实现,整个FINDINGS序列的每个词有0,1两种标注。如果当前这个词是医疗专有实体,并且他在对应的IMPRESSION出现过了的话,那就把这个位置标注为1,否则标注为0。这样学出来一个模型,在测试集上面就可以用来标注FINDINGS,并且选出一些关键的医疗专有实体。
然后看到图
左边是encoder,encoder里面的上面那个lstm用来encoder整个FINDINGS,得到每个位置的编码hi,然后下面那个lstm用来encoder Content Selector选取的关键医疗专有实体。医疗专有实体的这个LSTM得到最终一个hl0的向量,这个向量代表着当前这个FINDINGS里面所有显著的医疗专有实体的信息。然后用这个信息融合到上面那个编码FINDINGS的LSTM中,得到每个位置的一个新的向量:
hi是上面LSTM每个位置的输出, hl0是下面LSTM最后一个位置的输出。融合起来,然后和之前每个位置的输出做element-wise的乘法操作,即第二个公式的这个圆圈。融合之后的hi'与最后decoder每个位置坐attention,用来引导decoder的生成。
读后总结:
整篇paper的模型其实不难,依旧是老套的seq2seq的基础架构,并且用的是lstm ecoder和lstm decoder的模式。唯一的亮点就是Content Selector的时候用到了序列标注的思想,这个有点类似于copy机制,但又不是在最后一步修改分布。整篇论文只做了一个这样小的改动,然后能够论证他真的有效果,就可以了。