Patch-based Convolutional Neural Network总结

Patch-based Convolutional Neural Network for WholeSlide Tissue Image

Classification

abstract总结：

为了自动识别癌症的亚型，在千亿像素级的WSI（Whole Slide Tissue Images）上训练一个CNN是不可能的。癌症亚型的差异是基于细胞级的视觉特征，在图像patch上被观察。所以，作者强调在图像patch上训练一个patch-level的分类器比image-level的分类器更有效。

 

所以带来的问题是，如何挑战在于如何智能地组合patch级别的分类结果并模拟不是所有patch都具有区别性的事实。因此，作者提出训练一个decision fusion model去融合patch-level的预测（由patch-level CNNs给出），此外，作者利用patch的空间关系，提出了一个新的EM（Expectation-Maximization）方法，以便可以鲁棒性地定位具有差异的patch。

 

Introduction总结：

为什么要在高分辨率上分析图像：因为WSIs亚型对疾病发作和进展的研究以及靶向治疗的发展至关重要，并且癌症有效的观察在细胞级。而直接在还分辨率的图像上面训练CNN会导致退化（由于下采样对高分辨率图像的影响，CNN只会学整幅图像整体的一个分布，差异性信息在高分辨率的patch中被编码）。解决方法：在高维图像patch空间中训练CNN，预测WSI的标签在patch-level.(在CNN中训练patch，预测得到的结果用于WSI中测试数据的分类)

 

那么对于训练时，数据的标签做出说明与分析：

往往在训练的patch中是没有ground truth的，ground truth在给定的整幅图像（image-level）。然而，这给分类任务造成了困难，因为肿瘤可能有比较复杂的结构和纹理等属性。Patch-level的label可能与image-level没有关联。并且在patch-level的标签融合到image-level时，简单的decision fusion method（voting/max-plooing）不是鲁棒的。

 

因此作者提出了two-level model。1、using a patch-level CNN(patch给出预测), 2、training adecision fusion model(根据patch给出的预测做image-level的分类)。

 

1、  first-level(patch-level) model 是一个基于ExpectationMaximization(EM)的方法与CNN结合。输出output-level预测。（这里假设了一个Hidden变量，表示每个从image中提取出来的patch是否是有区别的，一个有区别的patch意味着patch的真实标签与图像的标签相同，初始假设所有的patch都是有区别的）。第一步中训练CNN模型，输出每个patch癌症类型的可能性，然后使用空间平滑处理概率映射结果并选择具有最大概率值的patch作为有区别的patch，最后，以EM的方式，使用输出的集合的有区别patch迭代训练网络直到收敛。

2、  second-level(image-level) patch-level预测的直方图被输入一个image-level的多类逻辑回归或者支持向量机model,，用于预测image-level标签。

 

对于patch的一个说明：如果提供大量的patch labels，那么使用Patch-level 有监督的分类器能够学习癌症子类型的异质性。但是，patch-level的标签需要花费巨大的代价，因为需要高度专业化的标注者。此外，随着组织样本的数据化越来越普遍，使得patch-level的数据标注变得更难。所以在WSI分类上面有了MIL（Multiple Instance Learning），利用无标签的patchs进行WSI分类。

在MIL的范例中，无标签的instances属于有标签bags的实例。MIL的目标是预测一个新bag的标签/每个instance的标签。标准多实例（Standard Multi-Instance SMI）假设指出对于二分类问题，如果在一个bag中至少存在一个正的instance那么这个bag也就是正的（这个bag的label/概率=所有它的实例中最大的正instance的预测）。

 

那么如何将MIL和神经网络结合？

一般，将SMI假设通过max-pooling建模，如果一个bag是正样本，那么Multi-Instance problems(BP-MIP)沿着最大响应的instance进行。那么会带来什么问题？每次迭代中，在一个bag中只有一个instance被训练，这是低效率的。解决的方法：平滑处理CNNs的输出概率映射（output probability(feature) maps）。

 

对于从patch-level预测image-level的label，以前采用max-pooling（SMI）和voting（average-pooling），但是，在许多应用中指出学习决策融合模型（decision fusion models）对性能有更好的提高比voting。因此，a learning decision fusion model是一个基于Count-basedMultiple Instance(CMI)假设，它是最通用的MIL假设。

 

将训练数据image(bag)分成一个个patch(instance)，对于patch的区别性预测（is discriminative or not）通过EM迭代估计。许多MIL算法能够通过EM过程解释。文中给出的说法：Basedon the SMI assumption, the instance with the maximum P(Hi,j|X) is thediscriminative instance for the position bag.

 

Discriminative patch的选择：

为了克服SMI在选择patch时的低效，这里patchs的选择策略是，设定一个阈值Ti,j，当patch的P（Hi,j|X）大于阈值，这些patchs被保留下来继续训练CNN。（其中为了获得更加鲁棒的P（Hi,j|X）,需要进行两步操作，一、在两个不同的尺度，平行的训练两个CNNs，二、使用高斯核函数对概率映射P（yi|xi,I;theta）进行去噪处理）

 

阈值的选取：先定义两个集合，第一个是Si（第i个图像的P（Hi,j|X）），第二个是Ec（c类的P（Hi,j|X））。图像级的阈值由Hi确定，类级的阈值由Ri确定，选择Hi和Ri的最小值作为选择patch的分割阈值。

 

Patch-level的标签融合到image-level将patch-level预测到的直方图输入到一个多类的线性逻辑回归或一个带有径向基函数核的SVM。为了获得patch的直方图需要对patch-level给出的类概率求和，同时concat多个model的直方图。