特征级融合_基于多尺度特征融合网络的像素级裂缝分割研究(IASCM国际协会，Takuji Kobori奖章)...

基于多尺度特征融合网络的像素级裂缝分割研究

(IASCM国际协会，SCHM期刊

2020年度最佳论文，Takuji Kobori奖章)

论文链接：

https://onlinelibrary.wiley.com/doi/10.1002/stc.2286

最佳论文：

https://onlinelibrary.wiley.com/page/journal/15452263/homepage/kobori_prize.html

引用格式：

Ni FT, Zhang J, Chen ZQ. Pixel-level crack delineation in images with convolutional feature fusion. Struct Control Health Monit. 2019;26:e2286.

01

研究背景

裂缝状况是结构日常巡检、专业巡检的主要检测指标之一，数字化、智能化、自动化已经成为人们科研和生产环节的重要追逐目标，而近几年基于深度学习的裂缝检测方法创新也引起了人们的广泛关注。能否摆脱人工提取特征，完全依靠深度学习实现图像中裂缝的像素级分割？深度学习网络各层学习到的特征在裂缝检测中将会扮演什么样角色？这些问题值得探究。

02

研究内容

在已经实现利用深度学习对图像中裂缝进行定性(分类)检测的基础上，本文将裂缝分类过程中深度学习各层提取的特征进行融合来实现图像中裂缝的自动分割。并采用自下而上、自上而下两种路径搭建多个特征融合网络，详细分析了不同层的特征对裂缝分割结果的影响。

图1 多尺度特征融合网络框架

文章以GoogLeNet作为基础网络，根据特征图的尺寸大小将特征分为1~5阶，某裂缝图像输入GoogLeNet的1~5阶可视化特征图如图2所示，可以很直观的看出低阶特征能够反映出裂缝的形态特征。

输入图尺寸224×224×3

图2 多尺度特征可视化

本文中，多尺度特征融合的思路是利用卷积、双线性插值等方式将低阶特征的三个维度尺寸调整到与高阶特征一致，随后就可以实现对应维度的逐像素特征融合操作，如图3所示。

图3 多尺度特征融合

随后，按照自下而上、自上而下两种路径选择不同层的特征，搭建了9种特征融合：

Net1：只保留第一阶特征，直接输入到连续全卷积层；

Net2：将第一阶和第二阶特征融合后，输入到连续全卷积层；

......

Net6：只保留第五阶特征，双线性插值放大后，输入到连续全卷积层；

Net7：将第四阶和第五阶特征融合后，输入到连续全卷积层；

......

03

对比分析

为展示不同尺度特征对裂缝分割结果的影响，以简单裂缝图像、细微模糊裂缝图像、纹理复杂裂缝图像、人工标记干扰图像分别作为测试对象，直观对比了两种融合路径的4个代表性网络，如图4所示。可以发现，只由低阶特征融合的网络，对裂缝的形态特征(细节)更加敏感，但是测试结果中会包含更多的噪声，也更容易丢失裂缝信息。而只由高阶特征融合的网络，测试结果中噪声、丢失的裂缝信息均明显少于前者，即高阶特征对图像中的语义信息更加敏感，但是对于细节的描述则不如前者。

图4 不同特征融合策略下裂缝预测结果对比

随后，将本文提出方法与传统的基于数字图像处理方法相对比。如图5所示。可以看出传统的方法检测结果中会包含大量的噪声，本文提出的基于多尺度特征融合网络的像素级裂缝分割方法具有明显的优势。

图5 与传统方法检测效果对比

04

结论

本文提出了一种基于多尺度特征融合网络的裂缝分割方法，相对于传统的基于数字图像处理的裂缝检测方法，可以高效的处理裂缝图像、高精度的分割出裂缝。文章详细对比了深度学习网络中高、低阶特征对裂缝分割结果的影响，发现低阶特征主要表征裂缝的形态信息，对于裂缝的细节描述更加有效，而高阶特征对于图像中裂缝的语义特征描述更加有效。

作者简介

倪富陶

东南大学在读博士生

研究方向：土木工程大数据分析、桥梁快速健康监测

图 文：倪富陶

编 辑：苏子阳

校 核：张   建

张建课题组-土木东南

Southeast University, 

Nanjing, China

QQ:15589693

Email: jian@seu.edu.cn