摘要: 论文提出了一种使用全卷积神经网络的模式识别系统,能同时完成人类上皮细胞样本图像的分割和分类问题。作者将残差网络ResNet改进为全卷积的的残差网络(fully convolutional residual network FCRN),使得网络能够完成语义分割任务,其次引入sand-clock形状的的残差块来提升FCRN的性能。
(一)网络结构
(1)Fully Convolutional ResNet(FCR)
网络由88层卷积组成,每一个Bottleneck模块有3个卷积层,每一个Residual in Residual(RiR)有6个卷积卷积层,并且还有4个反卷积层。Bottleneck和RiR模块通过跳连的方式,将前向和后向信号从一个区域传播到其他区域。三个RiR模块与两个步幅为2的卷积组合,来减小输入特征图的分辨率。
由于Conv1、最大池化和RiR模块的存在,输入图像的分辨率大小减小了32倍。作者通过应用反卷积来将特征图上采样到原来的大小,不同阶段的不同大小的特征图上采样系数分别为4,8,16,32,并且最后相加在一起来生成最后的概率图。引入BN来减少内部的 covariate shift,加速训练过程。深层的网络结构使得网络拥有更大的感受野,能包含更多的信息用于语义分割和分类。
(2)Residual in Residual(RiR)
作者提出了一种既能增加网络深度,但是又不会使用更多的残差块的方法 RiR。通过用RiR模块取代ResNet-50中的bottleneck模块,使得网络的深度从50增加到88。由于原始ResNet中的前三个模块主要提取边缘信息,将它们切换到更深层次的体系结构会产生边际性能改进。 从而为他们保留原有的瓶颈架构。
从图中可以看出,RiR有六个卷积层,分别为1x1和3x3,1x1卷积用于通道数的增加和减少,3x3卷积主要用于特征的提取。作者提出的RiR模块通过在典型bottleneck设计的剩余部分中连接一个shortcut来构造更深的层,避免梯度消失问题。 因此,RiR模块可以看作是bottleneck的扩展。
(二)数据增强
作者应用了三种数据增强操作,分别是S3R,S23R,SRM
S3R: 通过从每个HEP-2样本图像中随机裁剪20幅348x261子图像来增强数据集,从而产生20,160幅图像。 由于不同类型细胞的标本数量从10个到53个差异很大,因此为样本较少的细胞生成了更多的子图像,这进一步将数据集增加到27,440幅图像。 然后将增强训练集中的部分图像旋转90°、180°、270°,以减少子图像之间的相关性。
S23R: 原始标本图像旋转20次,即。 每次旋转15°(除去90°、180°和270°),从每个旋转的标本图像中裁剪348x261子图像,形成一组30320幅图像。 结合从S3R增强的数据集,训练集被增强到57,760幅图像。
SRM:旋转角度减小到10°(除去90°、180°和270°),并且采用镜像操作。 为了平衡来自不同细胞模式的训练图像的体积,从旋转的细胞图像中裁剪的子图像数量相应地变化。 然后将生成的图像集与来自S23R的图像集结合起来,形成一个包含106272幅图像的增强训练集。
考虑到原始ICPR2014数据集中样本图像的对比度比较低,作者做了图像的预处理来提升图像的对比度,其中 I 为训练图像
(三)网络训练
batchsize=128,初始学习率=0.05,学习率随后减小为0.01,衰减因子gamma=0.1,训练集和验证集的比例为8:2
使用softmax损失函数来衡量模型的分类性能,网络在6个epochs训练后收敛
(四)图像分类
测试的样本图像被分为4x4个子图送入网络进行分类。FCRN对图像的每个像素进行预测,总共为八个类别,七种不同颜色的类别和背景类了,最后的检测结果是通过将子图拼接起来得到的。
(五)评定标准
细胞分割:
样本分类:
(六)不同数据增强策略的结果
实验结果表明,SRM数据增强策略有着最好的效果。但是S23R与SRM有着很高的相关性,这导致了从S23R到SRM的精度提升空间变小。并且相比于S23R而言,考虑到训练时间消耗和性能提升的权衡,SRM并不是一个经济的数据增强方法。
(七)RiR 模块
FCRN-50和FCRN-101是由原始ResNet转换得来的,而FCRN-88添加了RiR模块。由图可知,当层数从50层增加到101层时,训练误差被发现减小,这表明更深的网络学习更好的目标表示特征映射。而FCRN-88比FCRN-101的验证误差低0.015。 由于FCRN-101比FCRN-88涉及更多的层,分类误差的降低被认为是在剩余的残差模块中产生的。
作者提出的RiR模块有着sand-clock结构,这种结构增加了网络的深度,并且由于中间的间距层的宽度被压缩了,从而导致参数量相比于左边的级联bottleneck模块更少。
作者在单块TITAN X显卡上做实验表明,同样训练6个epochs的情况下,FCRN-88的训练时间比FCRN-101要少1.8个小时,并且FCRN-88的网络深度是FCRN-50的1.76倍,只增加了16.7%的网络参数大小,因此RiR模块相比于原始Resnet来说是一个高效的方法。
单词学习:
Epithelial 上皮的、皮膜的 autoimmune 自身免疫的 leave-one-out 留一法
Fluorescence 荧光 screening method 筛选法 antibody 抗体 laborious 费力的、辛苦的
Hybrid 混合 morphological 形态学的 a sort of 一种 Nuclear membrane (细胞)核膜
The testing specimen image 测试样本图像 Mitotic spindle 有丝分裂纺锤体 contest 比赛
Nucleolar 核仁 Golgi 高尔基体 Henceforth 从今以后