Multiple instance learning for histopathological breast cancer image classification

Multiple instance learning for histopathological breast cancer image classification（用于乳腺癌组织病理学图像分类的多示例学习）

个人翻译，仅供参考，不恰当的地方请大家指出，相互学习

Abstract

组织病理学图像是乳腺癌诊断的金标准。在检查期间，针对单个患者获得了数十个这样的组织病理图像。传统的基于图像的分类系统假设所有患者的图像都与患者具有相同的标签，因为标记数据是昂贵的，所以这在实践中很少被验证。我们提出了一个弱监督学习框架，并根据对组织病理学图像的分析，研究多示例学习（MIL）对乳腺癌患者计算机辅助诊断的相关性。多示例学习包括将示例（图像）组织成bags（患者），而无需标记所有示例。我们比较了几种最先进的多示例学习方法，包括开创性的方法（APR，多样性密度【Diverse Density】，MI-SVM，citation-kNN），以及更近期的方法，如非参数方法和基于深度学习的方法（MIL-CNN）。该实验在公共数据集BreaKHis上进行，该数据集包含来自82名患者的约8000个良性和恶性乳腺肿瘤的活检图像。在MIL方法中，非参数方法具有最佳的总体结果，并且在一些情况下获得了比传统（单示例）分类框架从未达到的分类率。 MIL和单示例分类之间的比较揭示了MIL范式对于手头任务的相关性。特别地，MIL允许获得与传统（单示例）分类相当或更好的结果，而无需标记所有图像。

1.Introduction

监督学习是机器学习的子领域，其中从一组标记的训练示例推断出预测函数，以便将每个输入示例映射到其输出标签。 在传统设置中，训练数据集由配备有其相应标签的实例组成。 虽然示例相对容易获得，但基于人类的ground-truth描述的昂贵的数据标记过程仍然是拥有大规模数据集的主要瓶颈。 这个问题在机器学习中产生了一种新的范式，即所谓的弱监督学习，即具有部分标记的训练数据集（Zhou，2017）。
【Ground-truth在机器学习中表示有监督学习的训练集的分类准确性，用于证明或者推翻某个假设。有监督的机器学习会对训练数据打标记，将那些正确打标记的数据成为ground truth。】

多实例学习（MIL）提供了一个优雅的框架来处理弱监督学习。 与强（即完全标记）监督学习相比，每个训练实例都分配了一个离散或实值标签，MIL范例的基本原理是示例在标签袋中自然地分组，而不需要每个bags的所有示例都有单独的标签（图1）。 在二分类案例中，如果一个袋子里至少有一个正面示例，则该袋子被标记为正例; 另一方面，如果一个袋子里所有示例都是负面的，那么这个袋子被标记为负例（Foulds＆Frank，2010）。 通过将这样的训练数据分组在带标签的bags中，MIL算法试图对看不见的袋子（即袋子级别的分类）或看不见的示例（即，示例级别分类）进行分类。

虽然MIL（多示例学习）在医学成像中有很多应用，如最近的综述（Quellec，Cazuguel，Cochener，＆Lamard，2017）所示，人们越来越关注使用MIL进行组织病理学图像分类（Jia，Huang，Chang，＆ Xu，2017a; Mercan等，2018; Xu等，2014），特别是。组织病理学图像是用于疾病检查的组织的显微图像，其作为癌症诊断的金标准（Rubin，Strayer，Rubin，＆McDonald，2008）。用组织病理学图像建立诊断仍然是一项非常重要的任务。专家必须确定具体的模式（大小，几何，纹理）。然而，分析是一项高度耗时的专业任务，它取决于病理学家的经验，并受疲劳和注意力下降等因素的影响。正如（Gurcan等人，2009）所指出的，迫切需要计算机辅助诊断（CAD）来减轻病理学家的工作量，例如过滤明显的良性区域，以便专家可以专注于更困难的诊断病例。

诊断由病理学家从检查几个图像到一定的患者规模上的图像建立。 还可以在图像的尺度上做出另一个决定：专家可以通过识别图像中特定区域的图案为图像分配一个标签。 然而，细粒度注释的成本太高; 因此，数据集在患者或图像尺度上标记，但不在像素或区域尺度标记。 由于这些数据本质上是微弱的，因此MIL范式应该比单示例分类更适合。 为了验证这一假设，我们在我们的论文结果中提供了一个重要的，最近公布的，可公开获得的乳腺癌图像数据集，名为BreakHis（Spanhol，Oliveira，Petitjean，＆Heutte，2016b），其中包含 来自82名患者的大约8000个显微活检图像的良性和恶性乳腺肿瘤。

因此作为第一个contribution，我们建议在这个大型组织病理学图像数据集上使用MIL来进行研究，以图像分类和患者为目标。我们选择了MIL方法中的代表性方法： Axis- Parallel Rectangle algorithm（APR）（Dietterich，Lathrop，＆Lozano-Prez，1997），以及基于多样性密度（DD）的算法（Maron＆Lozano-Pérez， 1998; Zhang＆Goldman，2001），k-NN（Citation-kNN）（Wang＆Zucker，2000）和支持向量机（SVM）（Andrews，Tsochantaridis，＆Hofmann，2002），以及最近提出的非参数算法（Venkatesan，Chandakkar，＆Li，2015）和深度学习方法，重新审视用于MIL（MILCNN）的卷积核心网络（CNN）（Sun，Han，Liu，＆Khodayari-Rostamabad，2016）。第二个贡献是表明MIL比单示例分类更有优势，单示例分类是迄今为止在此数据上实现的唯一框架。当然，在这种情况下，我们假设实例从bags继承标签。我们检查是否最好将此问题转化为单一示例，或者如果MIL确实在图像和患者水平上都带来了附加值（Alpaydin，Cheplygina，Loog，＆Tax，2015）。

本文的其余部分安排如下。 第2节推动使用MIL范式进行组织病理学图像和患者诊断。 第3节介绍了MIL假设，并简要介绍了MIL方法。 第4节描述了BreaKHis数据集和进行的实验以及获得的结果。 第5节总结了论文。

2.2. The MIL paradigm for histopathological image analysis（用于组织病理学图像分析的MIL算法）

尽管在1990年代之前在多个领域出现了多实例算法， 但MIL首次被明确地提出是在20世纪90年代中后期(Dietterich et al., 1997)，研究者们在对药物活性预测( drug activity prediction)问题的研究中，提出了多示例学习( multi-instance learning) 的概念。专家为分子bags提供活动标签，标记每个单独的分子是昂贵且难以建立的。 MIL在各种领域的许多应用中都处于核心地位，例如生物信息学，文本处理，计算机视觉和图像处理等（Herrera et al。，2016）。 实际上，在许多应用中，ground truth标签在一般情况下是昂贵的，并且实例通常可以在bags中分组，每个bag具有一组部分标记的实例。 一个例子是面部识别，其中从不同角度拍摄的同一个人的几个图像可以被认为是一个bag中的实例（bag是人）（Herrera等，2016)。请注意，只有MIL范例可以理解这种情况。

MIL算法一个特别的应用是用于基于图像的病理学分类的医学决策任务，因为在研究中拍摄一些器官或组织（生理学）的许多图像相对容易并且是临床方案的一部分; 另一方面，标记每个图像是一个由人类努力主导的耗时过程。 正如引言中所介绍的那样，MIL对这种弱标记数据的相关性是双重(twofold)的。

第一种可能性是将每个图像划分为子图像或图像块，并将图像视为bag，而图像块则是示例。由于组织病理学图像具有高分辨率，因此局部方法对于处理和识别恶性区域是具有吸引力。在自然场景图像领域，该方法与基于区域的图像分类有关，其中每个示例编码与该特定区域相关的颜色，纹理或空间特征信息有关（Herrera等，2016）。在我们的二分类设置中，如果图像具有至少一个恶性斑块，则该图像将被标记为“阳性”（病理性)；相反，如果图像没有标记为恶性的任何部分，则图像将被标记为良性。这种多示例形式是自然的，因为只标记了一部分的图像块，就使得整个图像可能是健康的而患者被诊断出患有肿瘤。在目前使用的传统策略中，情况并非如此，在单示例分类设置中，示例继承了其图像的标签。

第二种可能性探讨患者的规模。传统的，基于图像的分类系统独立地分类图像并在患者层面合并决策; 他们假设所有患者的图像都与患者具有相同的标签，这在实践中很少得到验证。 使用MIL，患者被视为一个bag，其示例是其相关图像或子图像。 这完全有意义，因为诊断（即标签）仅在患者水平上建立。 此外，患有恶性肿瘤的患者仍然可以将他的一些图像描述为无肿瘤，即健康，如上所述; 一个健康的患者的所有图像都健康。 这些事实符合MIL假设。

在我们的实验中，我们将研究这两个设置，并将它们与单个示例学习等效项进行比较。

3. MIL methods: A brief overview（3. MIL方法：简要概述）

根据标准MIL假设，正例bags包含至少一个正示例，而负例bags仅包含负示例。 我们用 L_B表示行bag B的标签，定义为一组示例，每个示例由其特征向量描述：B = {b₁，b₂，…，b_N，}。 我们用l_k表示每个示例b_k的标签。 我们现在可以按照标准MIL假设定义bag的标签：

还有其他更宽松的假设，例如当一个bag含足够数量的正示例时，包被标记为正例; 由于它们超出了本文的范围，我们请读者进一步阅读(Foulds＆Frank，2010）。

MIL方法通常分为两组，具体取决于它们如何利用数据中的信息（Amores，2013）。第一组包括考虑示例级别的判别信息的方法。学习算法并不专注于更大规模的bag，而是在示例的本地规模情况下。这些方法的一个优点是它们能够在需要时对示例进行分类。但是，它们要求示例具有精确标签，并不是所有MIL问题都要求满足要求。实例级方法包括基于APR，DD，SVM的方法。第二组包括考虑bag级别的判别信息的方法。这些方法通常更准确，因为它们可以模拟每个类的分布和类之间的关系（Carbonneau，Cheplygina，Granger，＆Gagnon，2016）。但是，它们不能对单个示例进行分类，而只能对bag进行分类。这种方法的一个例子是Citation-kNN（Wang＆Zucker，2000）。有关MIL方法的综述，我们请读者参考（Amores，2013; Carbonneau等，2016; Herrera等，2016）。

在下文中，我们简要介绍已经实施并应用于BreaKHis数据集的成熟的MIL方法。

3.1. Axis-parallel hyper rectangle (APR)

多示例学习算法最初是在（Dietterich等人，1997）的开创性工作中引入的，其主要动机是生物化学中的应用。 它的目的是预测分子是否与给定受体结合。 每个分子，可以被认为是一个bag，每个分子都有很多种可能的低能形状，即实例。 解决MIL问题的方法是在特征空间中设计一个超矩形（称为轴平行矩形（APR）），旨在从每个正袋中包含至少一个正实例，同时排除负袋中所有示例。 如果其示例中的一个(resp. none) 属于APR内，则分子被分类为正(resp. negative)。

3.2. Diverse Density (DD) and its variants

多样性密度算法（Maron＆Lozano-Pérez，1998）与APR算法的概念密切相关。 多样性密度算法在他们的定义中，在属性空间中某点附近出现的正包数越多，反包示例出现得越远，则该点的多样性密度越大。 DD算法试图在示例空间上通过使用具有多个起始点的梯度上升法来寻找最大化多样性密度(即条件似然函数)来找到这个函数的局部最大值(称为正示例目标或原型)。 DD方法产生了许多变体，最着名的是Expectation-Maximization method(EM-DD）（Zhang＆Goldman，2001）。 在EM-DD算法中，多样性密度的大小使用EM算法迭代最大化。

论文中给出：using gradient ascent with multiple starting points.但是查了很多资料都是:1998 年，O.Maron 等人提出了多样性密度(Diverse Density，简称 DD)算法。他们对特征空间中的点定义一个多样性密度，然后在特征空间中寻找多样性密度最大的点，在寻找目标点的过程中需要进行多次的**梯度下降搜索**，所以DD算法的时间开销是非常大的。该算法对后来的研究影响很大，很多后继的工作都是在此算法的基础上进行的。

2002年Q.Zhang和S.A.Goldman将DD算法与EM算法相结合提出了EM-DD算法。他们首先在EM算法的E步中估计出决定各训练包概念标记的训练示例，然后在M步中对这些训练示例使用多样性密度算法以最大化多样性密度，反复进行E步和M步直到收敛为止。

3.3. Citation-KNN

Citation-kNN算法是k-最近邻（k-NN）算法的扩展，是第一种非参数方法（Wang＆Zucker，2000）。 原理是首先对bags使用k-NN算法，其中与袋子之间的距离不使用常用的欧氏距离而是使用最小化的 Hausdorff 距离，后者定义为每个包中任意两个示例之间的最短距离：

对于任何两个包A和B，其中a_i和b_j是每个包的示例。作为常规k-NN方法，k-NN使用该距离用于对新包进行分类。citation-kNN 方法增加了最后一步，使得该过程更加健壮：在求新包的概念标记时，不仅考虑其邻包，还考虑将该新包（called citers）作为邻包的包。

3.4. Mi-SVM and MI-SVM

Andrews等人（2002年）提出了两种基于最大化边界思想的SVM分类的算法。 一方面，mi-SVM基于SVM示例分类的多示例学习方法。 由于示例标签未知，因此它们被视为受其bag标签定义的约束的隐藏变量。 mi-SVM方法试图恢复示例标签，同时寻找最佳判别函数。 另一方面，MI-SVM基于SVM包分类的多示例学习方法。 其目标是最大化bag边缘，这个边缘在正袋的正面示例和负袋的负面示例之间定义。 在此设置中，bag不是由其所有示例表示，而是仅由“极端”实例表示，与传统SVM中的支持向量相同。 此外，mi-SVM和MI-SVM也继承了核技巧（kernel trick），因此允许使用线性，多项式和RBF内核。

3.5. Non-parametric MIL

该最新技术被设计为k-NN分类器的修改版本（Venkatesan等，2015）。 非参数MIL方法采用基于k-nn的距离的新公式。 我们的想法是使用Parzen窗口技术解析MIL特征空间，使用不同大小的区域。 与k-NN中使用的多数投票相反，投票贡献是特征空间中的核心距离。 非参数MIL可以增强对各种数据集上的噪声标记的鲁棒性。

3.6. MILCNN

近年来，深度学习网络已经压倒了机器学习，模式识别和计算机视觉领域。多示例学习也不例外（Hoffman，Wang，Yu，＆Dar-rell，2016; Jia et al。，2017a; Kraus，Ba，＆Frey，2016; Pathak，Shel-hamer，Long，＆Darrell，2014; Sun et al。，2016; Wang，Yan，Tang，Bai，＆Liu，2018; Zhou，Zhao，Yang，Yu，＆Xu，2017）。 Sun等人（2016）提出了一种多示例学习卷积神经网络（MIL-CNN）。 该框架最初是针对数据增强问题提出的：在对象检测中，当图像被拆分以进行数据增强时，标签不会始终保留。 所提出的方法通过将卷积神经网络（CNN）与针对bag导出的特定MIL损失函数相结合，将数据增量视为bag。

4. Experiments and results

4.1. Description of the breakhis dataset

BreaKHis是一个可用的乳腺良性和恶性肿瘤微观活检图像公开数据集（Spanhol等，2016b）。 这些图像是在2014年通过临床研究收集的，所有被转诊到P＆D实验室（巴西）的患者都被邀请参加乳腺癌的临床适应症。 机构审查委员会批准了该研究，并且给所有患者提供了书面知情同意书。 所有数据都是匿名的。 样本来自使用苏木精-伊红（HE）染色的乳房组织活检切片。 通过外科手术开放式活检（SOB）收集样品，准备用于组织学研究并由P＆D实验室的病理学家标记。 每个病例的诊断均由经验丰富的病理学家完成，并通过免疫组织化学分析等辅助检查确认。

图像采用RGB色彩空间，分辨率为752×582，使用40倍，100倍，200倍和400倍的放大倍数。 图2在单个图像上显示了这4个放大因子。 该图像是从含有恶性肿瘤（乳腺癌）的单个乳腺组织载玻片获得的。 突出显示的矩形（仅为说明目的而添加）是由病理学家选择的感兴趣区域，以便在下一个更高的放大倍数中详细说明。 迄今为止，该数据库由7909个图像组成，分为良性和恶性肿瘤。 表1总结了图像分布。 有关数据集的更多信息，请参阅Spanhol等人。（2016B）。

4.2. Experimental protocol

遵循医学研究中使用的标准标签惯例，标签“阳性”（或“阴性”）是指恶性（或为为良性）图像。 BreaKHis数据集随机分为70%的训练集和30%的测试集，遵循Spanhol，Oliveira，Petitjean和Heutte（2016a）中描述的协议。 用于构建训练集的患者不用于测试集。 我们计算了五次试验的平均比率。 请注意，每个试验的样品分布是公开的，可以公平地比较方法。 为了处理图像的高分辨率（752×582）并增加训练数据，图像被分成了许多图像块。 图像块将形成实例，而bags将被视为两个层次：在患者层面，将独立于所有患者的图像收集图像块; 在图像级别，图像块将来自感兴趣的图像。

图像块的尺寸为64×64像素，因为它已被证明与基于CNN的分类特别相关（Spanhol等，2016a）。 对于训练，从每个输入图像中随机提取1000个图像块。 对于测试，为了保持计算成本，提取了一个非重叠补丁的网格，每个图像产生大约100个图像块。 每个图像块用长度为162的Parameter-Free Threshold Adjacency Statistics (PFTAS)特征向量进行特征描述（Coelho等人，2010; Hamilton，S Pantel，Hanson，＆Teasdale，2007）。 当针对许多其他数据集进行评估时，这些特征与此数据集特别相关，例如局部二制模式（LBP），CLBP，局部相位量化，灰度共生矩阵以及计算机视觉特性（如ORB） （定向FAST和旋转BRIEF）（Spanhol等，2016b）。

在BreaKHis数据集上评估了12种多示例学习的方法，如第2节所述：APR，DD和EM-DD，citation-kNN，mi-SVM和MI-SVM，多项式和RBF核，非参数MIL，和MILCNN都是线性的。对于除非参数和MILCNN之外的所有方法，我们使用了J. Yang的MIL Library1和MATLAB 2017a的实现。非参数MIL算法是从作者的网站2获得的。为了在Python中实现MILCNN，使用了Keras和Theano（Chollet，2015）。使用网格搜索优化每种方法的超参数（参见附录A）。关于非参数MIL方法，主要（几乎只是）超参数是邻居的数量。它通过网格搜索找到，通常取决于数据集。其他超参数与实施和训练/测试的设置有关;它们包括最大化迭代次数使得训练精度最大化和平均精度的运行次数最大化。这些超参数应该尽可能地设置得高，或者至少是计算时间和精度之间的权衡结果，并且不会对结果产生巨大影响。

接下来，我们首先展示MIL方法的基准，然后评估针对单实例分类框架的最佳MIL方法。

4.3. Results

4.3.1. MIL Benchmark on breakhis dataset

如前所述，我们提供了两种不同设置的结果。 在第一种情况下，每个患者被认为是一个bag，其标记有其诊断，并且示例是从图像中提取的图像块。 从表1中可以看出，对于每个放大因子，每个患者平均可以获得25个图像。 由于在测试中每个图像大约提取100个图像块，因此每个包（或患者）包含大约2500个实例。 在第二个设置中，我们将每个图像视为一个包、bag; 在这种情况下，示例是图像块，一个bag大约包含100个示例。

表2，图3和图4展示了实验结果。由于标准偏差值较大，为了公正地比较方法我们对所有试验的准确率进行了paired T-tests，并认为当p值低于0.05时差异显着。正如预期的那样，基于DD的方法，APR和citation-kNN的实验结果最差，这使我们认为正实例不聚集在特征空间的单个区域中。基于SVM的方法表现更好。特别是，与mi-SVM相比，p值为0.0029的MI-SVM可以获得更好的结果，这表明bag-level范例更适合数据。最后，非参数MIL和MILCNN方法获得最佳分类率，两者均优于所有其他方法，p值低于0.001（与MILCNN或非参数MIL相比）;然而，MIL-CNN和非参数MIL之间没有显着差异（p = 0.77）。为了在以下部分中比较MIL与单实例分类方法，我们任意保留非参数MIL作为最佳MIL方法。

4.3.2. MIL Vs single instance learning

使用相同的协议（相同的试验，相同的训练和测试集分布），我们比较非参数MIL与最先进的单示例分类器的结果，即1-NN，二次判别分析（QDA），随机森林（RF）和SVM，部分来自先前的实验（Spanhol等，2016b）。 使用网格搜索调整这些分类器的超参数，并且仅保留最佳结果。 这些分类器将描述每个图像的PFTAS特征向量作为输入。 对于CNN方法，我们使用了AlexNet（Krizhevsky，Sutskever，＆Hinton，2012; Spanhol等，2016a）。 对每个图像块进行决策，并使用Max Fusion规则将其融合在一起。 有关详细信息，请读者参阅Spanhol等人的论文（2016a，b）。

结果报告在表3，图5（患者水平）和图6（图像水平）中。 除了单示例CNN，我们可以观察到，使用相同PF-TAS特征向量训练的非参数MIL优于所有其他四种SIL方法; 1-NN，QDA，RF，SVM等所有方法对MIL的p值均为0.0073。 这表明示例，即图像块，可能仅为图像或患者水平提供部分补充信息（Alpaydin等，2015），并且基于bag的分析对于组织病理学图像的分析是有价值的。



现在，单示例CNN不仅优于使用人工标记的文本描述符训练的其他单示例学习模型（根据之前的实验（Spanhol等，2016a）和（Han et al。，2017））， 其性能类似于非参数MIL方法（p = 0.65）。 即使两种方法在准确度方面没有显着差异，非参数MIL仍然具有不需要在图像级别进行标记的优点，但仅在宏观（即患者）级别：MIL可以利用弱标记数据， 具有在细粒标记特别昂贵的医学图像领域中的优势。

5. Conclusions and future works

多实例学习提供了一种分类框架，该框架特别适用于基于组织病理学图像分析的计算机辅助诊断。 在BreaKHis数据集的情况下，每位患者可获得数百张图像。 因此，患者可以被认为是bag，其诊断为标记。

我们的MIL基准测试表明，最近提出的非参数MIL和MILCNN对于患者和图像分类的任务特别有效。 40×放大因子的患者分类率可高达92.1％，这是传统分类框架从未达到的水平，这增强了示例是互补的事实，并且可以在MIL框架中充分考虑。 因此，MIL可以利用数字组织病理学图像分类和分析来改进计算机辅助诊断，而无需标记所有图像。

作为未来的工作，我们目前正在尝试其他深度学习框架（Spanhol，Cavalin，Oliveira，Petit-jean，＆Heutte，2017）。随着该领域研究方法的不断提出，毫无疑问，在不久的将来会提出一些更有效的网络。今天使用CNN以及更通用的AI或基于学习的技术通常仅限于帮助临床医生做出最终决定。除了提高决策过程的准确性外，研究还应侧重于提取对癌症图像分类至关重要的特征。这些功能将提供有关待检查的特定领域的见解，并且专家将专注于这些领域（Xu et al。，2017）。通过将图像视为bag和像素作为示例，MIL为组织病理学图像分割提供了足够的框架，以识别恶性区域位置（Jia，Huang，Chang，＆Xu，2017b; Kraus等，2016; Pathak et al。，2014; Xu et al。，2014）。

Appendix A. Method hyper-parameterization

For APR (Dietterich et al., 1997):
• Kernel Width: 0.999
• Outside Probability: 0.023
• GridNum: 25000

For DD and EM-DD (Maron & Lozano-Pérez, 1998):
• Scaling: 1
• Aggregate: average
• Threshold: 0.5
• No. of runs: 100 (DD), 500 (EM-DD)
• Iteration Tolerance (for EM-DD): 0.08

For Citation-kNN (Wang & Zucker, 2000):
• Bag Distance Type: minimum
• Instance Distance Type: Euclidean • Reference nodes considered: 5
• CiterRank: 11

For mi-SVM and MI-SVM (Andrews et al., 2002):
• Kernel: Linear, poly, RBF
• KernelParam - NA/degree/gamma: (NA), 4, 0.32 (mi-SVM), (NA),
5, 0.17 (MI-SVM)
• CostFactor: 1/0.96/1 (mi-SVM), 1/1/1 (MI-SVM) • NegativeWeight: 1/1/1
• Threshold: 0.5/0.5/0.5

For non-parametric MIL (Venkatesan et al., 2015):
• Averaged accuracy over 100 runs
• Range of k: 50 (using elbow method)
• Maximum No. of iterations to maximize the training accuracy:
3000
• Distance Method: Euclidean

对于MILCNN（Sun et al。，2016），结构与CIFAR10 / CIFAR100的结构相同，参数值相同