目录
摘要
【目的】 煤岩的质量决定着煤岩的利用率,其组分的分析是判断煤炭质量的重要依据。本文针对煤岩显微组分的分割问题,提出一种改进的UNet网络,旨在提高对煤岩显微组分分割的准确度,以此实现对煤岩显微组分的自动化分析。【方法】 首先,提出一种多尺度上下文注意模块。通过捕获具有空间上下文信息的高层特征来提高网络提取关键特征的能力。其次,在跳跃连接层中引入挤压激励模块,提高网络对低层特征重要信息的捕获能力。最后,选用骰子损失函数和焦点损失函数训练网络,以提高网络对小目标组分的敏感度和对相似组分的区分能力。【结果】 实验结果表明,所提方法在分割煤岩显微组分图像时,PA指标、IoU指标和Dice指标分别为91.24%、83.01%和84.70%,各组分分割的平均绝对误差分别为2.95%、5.43%和6.19%。【结论】 本文算法在实现利用计算机辅助自动化分析煤岩质量方面具有巨大潜力。
关键词: 煤岩显微组分; 图像分割; UNet; 多尺度上下文注意模块; 挤压激励模块
引言
煤岩利用率主要由煤岩的质量决定,煤岩组分的分析是判断煤炭质量的重要手段。提高对煤岩组分的分割准确度,是进行煤岩质量判断的关键[1⇓-3]。煤岩显微组分特征具有复杂多样性,在工业生产应用中主要利用分光光度计和偏光显微镜等共同组成的煤岩显微组分分析系统对煤岩组分进行分割。虽然该方法分割准确度相对较高,但整套系统结构复杂,易受人为因素干扰,自动化程度差。文献[4]对不同组分的阈值进行人为设定,严格意义上该方法也没有达到完全的自动化。
随着机器视觉的发展,诸多将机器视觉和图像处理应用于煤岩组分进行分割的方法被提出。文献[5]提出用改进的K-means算法分割煤岩组分。Mlynarczuk等人[6]通过多层感知器实现惰质组的识别,然而该方法无法识别镜质组、壳质组等其他组分。为解决该问题,Wang等人[7]用聚类法结合随机森林对显微图像进行分割,平均准确率可达到90.44%。尽管上述基于机器学习的方法取得了显著的性能改进,但现有分类器仍依赖于专业人员手动设计特征[8]。
随着深度学习的发展,以卷积神经网络为代表的深度学习算法在图像分割领域取得了巨大的成就[9]。Long等人[10]提出了一种全卷积神经网络,通过反卷积操作将特征映射恢复到输入图像的尺寸,从而实现任意大小图像的像素级分类。Ronneberger等人[11]在此基础上,提出了基于编码和解码结构的UNet网络,开创了UNet网络在图像分割的先河,为后续深度学习图像分割的发展奠定基础。为了更好地挖掘UNet结构的潜力,Chen等人[12]提出了基于UNet网络的改进方法,通过设计扩张空间金字塔池模块来获取不同尺度下的特征信息。Kong等人[13]在UNet中引入了特征金字塔模块来提取和整合各种语义信息,有效提高了分割的准确性。但过度使用具有相同扩张率的空洞卷积可能会导致局部信息丢失,损害提取特征的空间连续性。
近年来,注意机制在图像分割中得到了广泛的应用[14-15]。通过在现有的分割网络中嵌入注意模块,可以有效地提高网络对图像的分割能力。Hu等人[16]提出了一种挤压激励(Squeeze and Excitation, SE)注意模块,用于关联特征图之间的通道信息,并通过自动学习重新校准特征,以突出特征图不同通道重要性的差异。Woo等人[17]提出了一种轻量级的注意力模块(Convolutional Block Attention Module, CBAM),用于计算通道维度和空间维度特征之间的相关性。Rundo等人[18]将SE注意模块和UNet模型相结合,以实现目标区域的精确分割。然而,由于UNet编码结构中的连续卷积等操作导致特征分辨率降低,使得原始特征的详细空间信息出现不连续甚至缺失的情况[19]。虽然现有改进的UNet模型可以提取上下文丰富的空间信道信息,但这些模型无法在特征提取过程中筛选特征,因此无法突出对分割结果影响最大的特征。此外,煤岩显微组分形状和大小各异,随机分布性强,个别组分之间灰度特征相似,现有分割算法缺乏对煤岩组分特点的针对性。
为了解决上述问题,本文提出MSR-UNet(Multiscale contextual attention Squeeze and excitation Residual U-Net, MSR-UNet)模型。通过引入多尺度上下文(Multiscale Contextual Attention, MCA)模块、SE模块和损失函数改进UNet,使其适用于处理煤岩显微组分分割任务。首先,提出了MCA模块,并将其加入编码器与解码器之间。该模块基于多尺度特征提取,通过空间注意力机制和通道注意力机制,在通道和空间维度上筛选提取的高层特征,减少UNet在特征提取过程中空间上下文信息的丢失,进一步提高分割准确度。其次,在跳跃连接层中引入SE模块,弥补网络跳跃连接层在融合高层次和低层次特征时丢失的细节信息。最后,通过引入将骰子损失函数和焦点损失函数结合的损失函数,解决网络对相似特征组分和小目标煤岩组分敏感度低的问题。
1 MSR-UNet煤岩显微组分分割网络
为了实现煤岩显微组分的分割,本文提出一种结合多个注意力模块与UNet网络融合的MSR-UNet分割网络模型。网络结构图如图1所示。
图1
图1 MSR-UNet网络结构
Fig.1 MSR-UNet network architecture
UNet网络作为经典的端到端的分割网络模型,主要由编码器和解码器组成。其具有可在小样本数据集中进行分割训练的特点,使其适用于现有数据集数量较少的煤岩显微组分图像分割任务。本文将以UNet网络为基础进行分割网络的设计。
经实验验证选用了ResNet作为主干网络。网络中添加MCA模块,用以对高层特征的捕捉,使解码过程更好地融合高层语义特征。在跳跃连接层中加入SE模块,算出编码模块通过跳跃连接层传递的各通道特征权值,提升有用特征权重,提高网络在进行分割任务时对不同层级特征的提取能力,减少细节信息的丢失。
1.1 MCA模块
空洞卷积是针对图像语义分割问题中下采样会降低图像分辨率、丢失重要特征信息问题而提出的一种卷积思路[20]。大扩张率空洞卷积进行大目标检测时具有优越性,而小扩张率空洞卷积对小目标的检测效果较好。在不改变特征图大小的情况下,将不同扩张率的空洞卷积融合运算,可以增强提取特征图时的感受野,使其能捕捉到更多的上下文信息。
MCA模块结构图如图2所示。该模块通过4条级联的空洞卷积路径和3个不同的并联的最大池化层提取和收集上下文信息,通过CBAM模块筛选,以此获得对分割结果影响最大的高层特征。
设输入特征图为I,则I(xm, ym)表示输入特征图在点(xm, ym)处的值。空洞卷积计算公式为:
I(xm,ym)*K(xm,ym)=∑pP∑qQK(P,Q)I(xm−lP,ym−lQ)I(xm,ym)*K(xm,ym)=∑Pp∑QqK(P,Q)I(xm-lP,ym-lQ)
(1)
图2
图2 多尺度上下文注意模块
Fig.2 Multiscale contextual attention module
其中,K(xm, ym)为大小为P×Q的卷积核,*为空洞卷积运算,l为扩张率。在MCA模块中,选用扩张率分别为1、2、4的联级空洞卷积实现对编码器输出特征图的多尺度特征提取,如图2(a)所示。
传统的多尺度特征图提取会使用单一的最大池化层编码全局上下文信息,但该处理方式无法保留更多的全局上下文信息。针对此问题,本文选用3个分别为2×2、3×3和5×5的最大池化层对全局上下文信息进行编码。通过3次平行的最大池化操作,可以得到3种不同大小的特征图。在每个最大池化层后增加1个1×1的卷积,将高维特征图转换成低维的特征图,如图2(b)所示。再通过上采样将其还原到原来的大小。
由于煤岩显微组分特征具有复杂性,其通过编码结构提取的特征图会存在大量冗余信息,直接上采样还原,会影响最终的分割结果。这里在MCA中引入CBAM模块对特征进行筛选[17],CBAM模块由通道注意力模块和空间注意力模块组成,其结构如图3所示。
图3
图3 卷积注意力模块
Fig.3 Convolutional block attention module
在图3中,设输入的高层特征图为F,首先将高层特征输入至通道注意力模块中,通过并联的平均池化层和最大池化层进行运算,其结果FcApFApc和FcMpFMpc分别为公式(2)和公式(3)所示。
FcAp=Avgpool(F)FApc=Avgpool(F)
(2