论文阅读《Deep Learning Assessment of Tumor Proliferation in Breast Cancer Histological Images》

Methods

a)       dataset

Three datasets

1.     主要的：500 whole slideimages with magnification levels from 10× to 40× that are annotated with atumor score and a molecular (RNA) proliferation score

2.     73 2 mm²magnified images annotated with mitotic figures

3.     148 WSIs partiallyannotated with tumor (high cellularity) regions for supplemental training

 

b)       Preprocessing: Data Mining, WSI Normalization, andTissue Extraction

不同机构染色程度不同，因此采用了Bejnordi等人的WSI颜色标准化(WSICS)程序。

Tissue regionswere extracted using Otsu’s method on a HSV representation of the original RGBimage

remove smallartifacts + binary dilation

 

c)       Network Construction

three tasks:metastatic tumor localization, mitotic figure identification, and WSI generalfeature extraction

我们在肿瘤定位过程中使用了10倍的放大倍数来识别，放大40倍进行有丝分裂鉴定和特征提取。

1.     Metastatic TumorLocalization转移性肿瘤定位

增殖活性通常表现在组织异常的边缘

前三种是CNNs,每个CNN使用滑动窗口方法生成的输出肿瘤概率热图，将重叠组织块分类为肿瘤概率，并将结果值分配给每个patch的中心像素。

第四种网络，我们命名为LocNet，减少了自由参数的数量，并在一个完全卷积的范例中操作。允许任意大小的输入，并对每个patch产生了向下采样的对应的热图，而不是单一的概率输出。可以快速生成一个综合的热图。

 

分为两个阶段：

第一个阶段把带注释的patch定义为positive，并将剩余的组织块的随机样本定义为阴性。

第二阶段结果更好地消除了在第一阶段被错误分类的区域。使用每个模型制作热图，其他的区域若positive withover 95% confidence，则也把它们算作positive training set.All models wereretrained with the refined data.

 

2.     Mitotic FigureIdentification有丝分裂图识别

有丝分裂没有清晰的核膜和边缘的多毛突出物。

DenseNet要求很多的参数。GoogLeNet网络体系结构中编码的复杂性过度地压缩了有丝分裂的数据。为了解决这个问题，我们应用了LocNet模型并开发了一个叫做MitosNet的专门架构。LocNet和MitosNet显示了更少的(但更精细的)层。

为了减少确定的mitoses的假阳性率，我们采用了一种两阶段的训练过程，使用病理学家标注的有丝分裂数据的数据集。我们最初使用形态学方法确定了所有核的位置和区域。被标注的有丝分裂定义为positive，其他核的随机样本定义为positive。在训练和输出热图生成的第一个阶段之后，我们将我们的有丝分裂的标识进行进一步的病理学评估，并随后重新训练我们的模型，用于最初的错误鉴定实例。所得到的鲁棒训练模型被用来表征有丝分裂的空间分布和形状特定属性

 

3.     WSI GeneralFeature ExtractionWSI一般特征提取

创建了端到端网络，predict the outputcategorical severity grade of the whole slide image from individual patches。

每个模型利用肿瘤和有丝分裂网络的输出来提取特征。从原始的WSIs中提取patch，并输入第一个网络(静态权值)，计算与有丝分裂识别或肿瘤定位相对应的粗糙特征。然后映射到第二个网络的输入(带有动态权重)。第二网络进行了分类预测并提取了WSI特征。这1024个特征，加上3个预测的类概率，被纳入到最终的预测模型中。

 

d) Tumor-Specific Feature Extraction肿瘤特异性特征提取

用来预测肿瘤扩散的严重程度。我们优先从面积最大的局部肿瘤区域的边缘选择50个斑块。每个slide放大40倍。描绘了所有肿瘤区域的有丝分裂图的综合热图。Patch和WSI热图都用来计算特征。

用来预测肿瘤扩散的严重程度。我们优先从面积最大的局部肿瘤区域的边缘选择50个patches。每个patche，为一个放大倍数为40倍的1k×1k的样品，被输入到我们的有丝分裂检测器中，该检测器产生相应大小的热图，用于识别输入图像中的有丝分裂图形概率。然后对于每个WSI，描绘了所有肿瘤区域的有丝分裂图的综合热图。Patch和WSI热图都用来计算特征。

BiologicalFeatures

每个patch提取50个特征。另外，我们用60特征来表征整个WSI中有丝分裂的分布

Data-DrivenFeatures

在每个放大的patch中，我们还计算了抽象的深度学习的特征。在已被识别的有丝分裂的周围，分割出一个63*63的tissue patch，每个patch有4096 features。我们在200维向量空间中的每个WSI patch上对所有单个有丝分裂特征向量（长度为4,096）进行了后处理k均值聚类。每个矢量与一个集群的标签2 [1; 200]确定最相似的子空间。最后，每个WSI被提取到一个200-bin的直方图中，其频率对应于提取的patch内每个有丝分裂区域的集群的标签，从而形成一个长度为200特征向量。

使用从肿瘤定位结果，一般提取方法以及深度学习和生物学肿瘤特异性有丝分裂属性中提取的所有特征特征来预测肿瘤增殖的严重程度。

实验与结果

1.     性能评估

分类肿瘤严重程度：

分子RNA表达：

 

a Pearson’scorrelation coefficient value

Spearman’s rank coefficient

在没有molecular examination的情况下有效地评估组织病理切片的预后潜力。