文献阅读笔记【14】：An integrated approach to automatic pixel-level crack detection and quantification of ...

• 论文 | An integrated approach to automatic pixel-level crack detection andquantification of asphalt pavement
  【沥青路面自动像素级裂缝检测和量化的集成方法】
• 作者 | Ankang Ji, Xiaolong Xue, Yuna Wang, Xiaowei Luo, Weirui Xue
• 期刊 | Automation in Construction（建造自动化）
• 时间 | 2020年

---

原文和部分译文： https://share.weiyun.com/nNTyHHtQ

---

为解决在像素级水平上检测和量化裂缝的问题，文章提出了使用语义分割网络DeepLabv3+的集成方法用于裂缝检测，以及提出了一种用于像素级裂缝量化的裂缝量化算法。量化指标主要为：裂缝长度，平均宽度，最大宽度，面积和比例。

以下为像素级裂缝检测和量化的整体流程：

DeepLabv3 +架构

理解参考：

• 憨批的语义分割5——DeeplabV3+模型解析以及训练自己的DeeplabV3+模型（划分斑马线）

• 语义分割技术综述

• 文章中采用的DeepLabv3+框架如上图，整体分为编码-解码两部分，输入为完整的一幅图像。
• 在编码部分，图像经过使用空洞卷积的DCNN网络，之后的输出分为两个方向，一个方向为直接输出到解码部分，另一个方向是ASPP（空间金字塔），即使用不同rate的空洞卷积对图像进行特征提取，在进行合并，最后，在使用1×1卷积核之后，获得了总体目标特征图，并将其输入到解码器模块中。
• 在解码部分，将上述两个方向的输出结果通过一定的方式concat到一起，在采用四倍双线性上采样的操作来从编码器模块的输出中反卷积目标特征图。
• 得到最终的语义分割结果。

样本不均衡问题

裂缝检测中裂缝只占图像的一小部分，是一个样本不均衡问题，可能会导致图像分割不准确。未来解决此问题，文章中采用了算法层面的方法：

其中，label0和label1分别表示背景和裂缝，阈值p为

其中c1和c2分别表示裂缝和背景像素的权重.

效果评价指标

一般采用交并比（IOU），文中采用了联合平均交并比（MIOU）：

其中n表示类的数量。MIoU具有代表性和简单性，是语义分割最常用的评价指标。

在像素级对裂缝进行定量分析

文章的重点也是在这一部分。
裂缝定量分析采用的指标为裂缝长度、平均宽度、最大宽度、面积、占比。

通过在单像素级对检测到的裂缝进行骨架化，然后使用快速并行细化(FPT)算法 对裂缝进行量化，从图像中提取了这些信息。通过去除属于裂缝骨架的轮廓点外的所有轮廓点，从图像中提取裂缝骨架。
设f(x, y)为骨架线点标定指标，对点在被检测图像中的位移进行标定，按照如下公式确定骨架线：
$$f(x,y)=\{\begin{array}{c}1\text{ if }(x,y)\in \text{ skeleton line }\\ 0\text{ otherwise }\end{array}$$

1. 裂缝长度LC：如果有n个骨架线点，dl表示像素级上的有限裂缝骨架线，$\sqrt{{\left(x_{i+1}-x_i\right)}^2+{\left(y_{i+1}-y_i\right)}^2}$为相邻点之间的距离，计算并汇总相邻裂缝点的距离：
   $${\mathrm{L}}_{\mathrm{C}}={\int }_{\mathrm{c}}\mathrm{f}(\mathrm{x},\mathrm{y})\mathrm{d}1\cong \sum \mathrm{f}(\mathrm{x},\mathrm{y})\mathrm{d}1=\sum _{i=1}^{\mathrm{n}}\sqrt{{\left({\mathrm{x}}_{\mathrm{i}+1}-{\mathrm{x}}_{\mathrm{i}}\right)}^2+{\left({\mathrm{y}}_{\mathrm{i}+1}-{\mathrm{y}}_{\mathrm{i}}\right)}^2}$$
2. 最大宽度：dld(i)为点i处的有限裂缝像素宽度
   $${\mathrm{d}}_{\mathrm{M}\mathrm{a}\mathrm{x}}=\max \left({\int }_{\mathrm{d}(\mathrm{i})}\mathrm{f}(\mathrm{x},\mathrm{y})\mathrm{d}{\mathrm{l}}_{\mathrm{d}(\mathrm{i})}\right)\cong \max \left(\sum \mathrm{f}(\mathrm{x},\mathrm{y})\mathrm{d}{\mathrm{l}}_{\mathrm{d}(\mathrm{i})}\right)$$
3. 裂缝的面积、平均宽度d和裂缝占比：
   $$\begin{array}{rl}\text{ Area }& ={\int }_{\mathrm{s}}\mathrm{f}(\mathrm{x},\mathrm{y})\mathrm{d}\mathrm{S}={\int }_{\mathrm{c}}{\int }_{\mathrm{d}(\mathrm{i})}\mathrm{f}(\mathrm{x},\mathrm{y})\mathrm{d}{\mathrm{l}}_{\mathrm{d}(\mathrm{i})}\mathrm{d}\mathrm{l}\cong \sum \mathrm{f}(\mathrm{x},\mathrm{y})\mathrm{d}\mathrm{S}\\ & =\sum \sum \mathrm{f}(\mathrm{x},\mathrm{y})\mathrm{d}{\mathrm{l}}_{\mathrm{d}(\mathrm{i})}\mathrm{d}1\end{array}$$
   $$\overline{\mathrm{d}}=\frac{\text{ Area }}{{\mathrm{L}}_{\mathrm{C}}}$$
   $$\text{ Ratio }=\frac{\text{ Area }}{{\mathrm{I}}_{\text{Area }}}$$
   dS表示裂缝的有限像素面积，IArea表示图像中像素的总数。该比率是裂缝密度的度量，因为它比较了构成预测裂缝区域的像素的数量与图像中像素的总数。

实验及结果

复杂裂缝和细裂缝都给DeepLabv3+带来问题，它难以分割不连续的路径。这些错误的可能解释包括小的裂缝宽度或大的图像噪声干扰。这可以通过提供近地、高质量的图像来解决。尽管存在较小的误差，但DeepLabv3+在沥青路面裂缝分割方面表现良好。
以下为量化分析的图形化显示：

从图中可以得出，只有裂缝的长度这一分析结果效果较好，几乎在直线周围波动，但是其他几项误差就比较大了。
，量化分析的目标是为了得到裂缝实际的物理宽度指标，对裂缝进行评估健康状况。该算法对于像素级的裂缝长度量化非常有效，但对于裂缝的平均宽度、最大宽度、面积和比值量化并不理想。

comments
文中采用的技术方法都是已经成熟的技术，并未有较大创新，文章的重点在于量化分析部分，做出了比较大的创新，但是量化分析的最终效果并不完全理想。以上，其采用的量化分析方法有参考意义。