阅读笔记：RELATIONAL LEARNING BETWEEN MULTIPLE PULMONARY NODULES VIA DEEP SET ATTENTION TRANSFORMERS

Abstract

  肺多发结节的诊断和治疗在临床上很重要，但很有挑战性。以往对多发结节患者的结节特征的研究使用的是单独结节分析方法，从而忽略了结节之间的关系。在本研究中，我们提出了一个多实例学习(MIL)方法，并实证证明了学习多个结节之间的关系的好处。通过处理来自同一病人的多个结节作为一个整体，单独结节体素之间的关键关系信息将会被提取。据我们所知，我们首次研究肺多发结节之间的关系。受最近自然语言处理(NLP)领域进展的启发，我们引入了一个带有3D-CNN的self-attention transformer，名为NoduleSAT，以替代多实例学习中典型的基于池的聚合方法。我们在LUNA16数据库上进行了大量的lung nodule false positive reduction，在LIDC-IDRI数据库上进行了大量的恶性肿瘤分类实验，验证了所提方法的有效性。

Introduciton

  肺癌是癌症相关死亡率的主要原因。早期诊断肺癌是减少肺癌相关死亡的有效途径之一。随着低剂量ct (LDCT)的广泛应用，越来越多的早期肺结节已成为临床的一大挑战。特别是一组肺多发结节引起了研究的关注。除了某些容易诊断的疾病，如明显的肺转移和肺结核，偶然的多发肺结节在临床中被认为是一个难题。肺多发结节的诊断比单独的更复杂；除了分析生物行为(如良性、惰性、侵袭性)，放射科医师还需要分析各种情况。
  最近的数据驱动方法，如放射组学和深度学习，已经主导了计算机辅助诊断(CADx)的研究。在肺结节的检测和表征方面，研究多结节之间关系的文献很少。换句话说，以前的研究对多发性结节的患者使用单独的结节分析方法。在临床实践中，放射科医师使用结节水平和患者水平的信息来诊断来自同一对象的结节；从算法的角度来看，独立结节方法在不考虑关系、上下文信息的情况下对结节进行分类。而我们认为它们之间的关系很重要，因此提出了多实例学习(MIL)方法来解决这一问题。据我们所知，这是首次研究肺多发结节之间的关系。受NLP领域最新进展的启发，我们引入了基于self-attention的Set Attention Transformers (SATs) 来学习结节之间的关系，而不是典型的多实例学习中基于池化的aggreation。为了从CT扫描中建模肺结节，使用3D-DenseNet作为主干，在单独结节水平上学习体素的表示。然后我们使用SATs来了解同一病人的多个结节之间的关系。整个名为NoduleSAT的网络可以进行端到端的训练。在肺结节假阳性减少和恶性肿瘤分类任务中，提出的多结节方法始终优于单独结节。
  论文的主要贡献有三个方面:1)我们实证地证明了了解结节之间的关系的好处;2)我们开发了Set Attention transformer (SATs)来进行关系学习;3)一个端到端可训练的结节模型在多结节建模中是有效的。我们的实验证明了多肺结节之间的关系学习的益处，这也将对这一重要课题的临床和生物学研究有启发作用。

METHODOLOGY

2.1 Set Attention Transformers (SATs)

  受self-attention transformer的启发，我们开发了SAT，它是一个用于处理permutation-invariant和size-varying集的通用模块。在这项研究中，一组是相同的病人的多个结节，SAT是为了学习多个肺结节之间的关系。对于输入集合$X\in R^{N\times c}$（$N$为集合的大小，$c$为表示的通道），一个scaled dot-product attention用来共享$K,Q,V$之间的特征。
$$\mathrm{Attn}(X)=\mathrm{softmax}\left(X{X}^T/\sqrt{c}\right)\cdot \sigma (X)$$
其中$\sigma$是非线性激活函数。
  然而，在我们的应用中，MHA过于繁琐，因此我们引入了一种更参数有效的Group Shuffle Attention(GSA)¹用于SATs。假设$g$是组的数量（本研究中为$g=8$）,$c_g=c/g$, 令$c$ mod $g=0$ 我们用通道数去除$X$得到$g$组，$x^{(i)}\in R^{N\times c_g}$，并在scaled dot-product attention之前，用权重$W_g\in R^{c_g\times c_g}$ 来进行组线性变换。组内scaled dot-production attention 应用于每个小组。但是，在所有层中对输入进行分组会导致集合中的元素之间没有通信。为此，引入了无参数算子,channel shuffle $\psi$²来促进信道融合。GSA的总体形式化如下：
$$GSA(X)=\mathcal{B}\mathcal{N}(\psi$$