MIA 2018 Weakly supervised histopathology cancer image segmentation and classification（无代码）

题目：MIA 2018 弱监督组织病理学癌症图像分割与分类

摘要

1. 对象：组织病理学癌症图像
2. 任务：进行图像级分类（癌症与非癌症图像）、医学图像分割（癌症与非癌症组织）、斑块级聚类（不同类别）
3. 方法：基于弱监督的多聚类实例学习(MCIL)
4. 创新点：将聚类嵌入到多实例学习设置中；引 入上下文约束作为MCIL的先决条件
5. 实验：结肠癌组织病理学图像、细胞学图像，效果很好

1 介绍

1. 对于组织病理学图像分析的任务有：
   （1）检测肿瘤的存在（图像分类）
   （2）将图像分割成瘤区和非瘤区（医学图像分割）
   （3）将组织区域聚类成不同的类别。
   本文的目标是开发一个集成框架来完成分类、分割和聚类
2. 最近的方法有：
   （1）分形特征在内的特征设计(Huang and Lee, 2009)、纹理特性(Kong et al.， 2009)、对象级特性(Boucheron, 2008)和颜色图特性(Altunbay等，2010;Ta等，2009)
   （2）不同的分类器(贝叶斯还研究了KNN和SVM)用于病理前列腺癌图像分析(Huang and Lee, 2009)。
3. 弱监督学习：利用粗粒度注释来帮助自动探索细粒度信息。多实例学习（MIL）是弱监督学习的一种特殊形式，它的训练集由许多包组成，每个包都有许多实例，训练中只给出包级的标签，但是要去预测实例级的标签。我们目标就是从只有图像级标签的组织病理学图像中识别癌症，只需要图像级别的注释。
4. 本文提出完整的组织病理学图像分类框架，将组织病理学图像分为癌症和非癌症区，并将癌症组织从癌症图像中分割出来，聚类成不同的类型。系统采用基于多实例学习（MIL）的多聚类实例学习（MCIL），以往基于MIL的方法有很多，但是都不是针对医学图像分割的，也没有同时为分类、分割和聚类任务提供一个集成的框架。
5. 本文的方法是将聚类的概念嵌入到MIL设置中。假设一个包里面是同一个聚类，或者一个对象的多个组件。将聚类概念结合起来，形成了一个能够同时进行图像分割、图像级分类和斑块级聚类的集成系统。
6. 此外，我们还引入了上下文约束作为cMCIL的前置条件，从而减少了MIL中的歧义

2 相关工作

2.1 现有的组织病理学图像分类和分割方法

1. 分类：现有的组织病理学图像分类方法，主要集中在监督设置下的特征设计。例如：使用彩色图像，去检测和分级组织病理图中的结肠癌；前列腺癌检测采用了多种特征。另外的一些工作集中在分类器的设计上。
2. 分割：视网膜血管图像、条件随机场模型等

2.2 MIL和相关方法

1. 与完全监督相比，多实例学习在自动挖掘细粒度信息和减少人工标注方面有很大的优势。
2. Zhang and Zhou (2009)提出一种多实例聚类（MIC）方法，将聚类作为实例的隐变量来学习。在我们的病例中，不同癌症类型的多个集群可能同时存在于一个包中（组织病理学图像），在我们的工作中，每个包都有多个实例和多个类。
3. 在我们的方法中，多个聚类是要用弱监督的方式探索的隐藏变量。
4. MIL框架也被应用于医学成像领域，主要集中在医学诊断方面。还没有解决集成分类、分割和聚类任务的框架，这正是本文的关键贡献。

2.3 本文的贡献

1. MIL框架非常适合于癌症图像的分类、分割和聚类任务，本文提出新的学习方法——多聚类实例学习（MCIL），使用了弱监督的方法。MCIL方法同时进行图像级分类（癌症与非癌症图像）、医学图像分割（癌症与非癌症组织）和斑块级的聚类（不同的类）。
   我们将聚类概念嵌入到MIL设置中，并推导出在集成框架中执行上述三个任务的原则解决方案。
   此外，通过改变上下文模型项的权重，说明了上下文信息的重要性。
   最后，我们试图回答以下问题:构建一个实用的医学图像分析系统，需要花费大量时间和昂贵的像素级癌症图像注释吗?
2. （1）MCIL方法可以应用到其他的组织病理学图像类型，比如说细胞学图像。
   （2）额外的特征被添加到本文中，如灰度共生矩阵
   （3）实验中创建了一个新的组织病理学图像的子集。
   （4）本文主要研究结肠组织病理学图像的分类、分割和聚类。然而，值得注意的是，我们的MCIL格式是通用的，它可以用于其他图像模式。

3 方法

1. 本文将第i个组织病理学图像作为一个包xi，从图像中密集采样的第j个图像块对应于一个实例xij。有癌症组织的的实例为正实例（yij = 1），没有任何癌症组织的实例为负实例（yij = -1）。如果包里面至少有一个正实例，则包的标签为yi = 1，只要图像的一小部分被认为是癌变的，病理学家就会将组织病理学图像诊断为阳性。
2. MIL的优点是，如果学习了实例级分类器，就可以直接执行图像分割任务;还可以得到包级(图像级)分类器。

（1）输入：结肠组织病理学图像，癌症和非癌症
（2）步骤：癌症图像用于生成阳性包(红色圆圈)，而非癌症图像用于生成阴性包(绿色圆圈)。在每个包中，每个图像补丁代表一个实例。cMIL /MCIL被用作一个多实例学习框架来执行学习，所学习的模型为补丁级别的，癌症集群生成了几个分类器。红色、黄色、蓝色和紫色代表不同的癌症类型，而绿色代表非癌症斑块。基于补丁级别分类的预测，可以得到整体图像级别分类
（3）输出：用于判断癌症或者非癌症的图像级别的分类器、用于不同癌症分类的补丁级别分类模型

3.1 回顾MIL方法

1. 基于boosting的MIL方法用于构建我们的MCIL方法的模块。
2. 在MIL中，训练集有n个包，Xm ={x1,…,xn}，每个包中有m个实例，xij代表一个实例。每个包xi都有一个标签yi={-1,1}，每个实例xij也有标签yij={-1,1}，但是实例级的标签在训练阶段是没有给出的。如果实例有一个为positive，那么这个包也是positive，公式可以表示为：（ps：公式里的max相当于or运算）
   
3. MIL目标是学习一个实例级的分类器，即h(xij)：X—>Y（通过h函数，可以判断一个实例的标签），那么包级的分类器H(xi) : Xm —>Y可以表示为:
4. 为了实现这个目标，MIL-Boost提出结合MIL代价函数和AnyBoost框架。AnyBoost的一般思想是通过函数空间中h的梯度下降来最小化损失函数L(h)