作者：蒋赏 | 来源： 张建课题组
Automatic Inspection of Bridge Bolts Using Unmanned Aerial Vision and Adaptive Scale Unification-Based Deep Learning
Remote Sensing
论文链接：
https://doi.org/10.3390/rs15020328
1
研究背景
螺栓连接是钢结构桥梁中常用的一种连接方式。桥梁螺栓连接不仅需要承受结构自重、交通荷载、温度等引起的巨大负荷，还受到风荷载和车辆动载引起的桥梁持续振动的影响。因此，钢桥的螺栓损坏是其代表性的失效形式之一。螺栓劣化一般包括螺栓腐蚀、螺栓松动甚至是缺失。一旦螺栓松动或缺失，就意味着连接处的承载能力已经严重下降。因此，定期检测桥梁螺栓具有重要意义。现有的桥梁螺栓检测方法一般都是依靠人工目测检查，效率低下，对于大跨度桥梁的螺栓检测，特别是缆索的索夹部位的螺栓检测，依靠人工爬索目视检查的方法还存在极大的危险性。例如，一座大跨度的钢桁架桥通常包含数十万个螺栓，依靠人工目视的方法逐个检查需要耗费大量时间。为了检测一座大跨度悬索桥的索夹螺栓，工人需要爬到200多米高的主缆上，逐一观察索夹螺栓，这无疑极大地增加了作业的风险。
图1 大跨度悬索桥的缆索系统螺栓检测
随着无人机系统的逐渐成熟和普及，关于应用无人机进行桥梁检测的研究层出不穷，与此同时基于视觉的检测方法也展现出了高精度、高效率和高自动化程度高的优势。基于此，提出一种基于无人机平台和视觉检测算法的海量桥梁螺栓高效检测方法，快速采集螺栓图像并分辨其是否存在锈蚀、松动和脱落。
2
关键问题
在应用无人机检测桥梁螺栓时，存在以下几个关键问题需要解决：1.利用无人机采集桥梁各部位螺栓图像和视频时，无人机的高速飞行和晃动可能导致采集过程中的图像或视频存在运动模糊，同时远距离拍摄成片螺栓时单个螺栓所占像素少分辨率低；2.对于大跨度桥梁无人机外业采集可获取数千张螺栓图像，如何以高准确率自动化地分析所获取的海量图像中的螺栓健康状况是其中的难题。
为解决上述问题，本研究提出了一种实用的桥梁螺栓快速自动化检测方法，该方法利用无人机收集螺栓图像，通过基于深度学习的自动分析方法识别螺栓并分类螺栓的病害，从而对在役桥梁的螺栓进行高精度和高效率的检测。与现有研究不同的是，所提出的方法的核心是减少飞行采集时造成的图像质量下降，并以尽可能高的精度识别螺栓的病害。具体来说，该方法首先搭建了一个为执行桥梁螺栓检测无人机系统，然后提出了使用无人机采集桥梁螺栓的具体拍摄方法方法。其次，提出了一种基于光流和逆滤波的图像运动模糊消除方法，以及一种基于超分辨率的自适应缩放方法，从而将无人机采集的原图像处理为清晰的具有统一尺度的子图像。最后，采用一种两阶段的螺栓检测方法来确定螺栓的劣化情况，即先应用在自定义数据集上训练的YOLO v5x网络检测螺栓并将其分割成单个螺栓图像，然后采用efficientNet将螺栓分类为正常螺栓、锈蚀螺栓和松动螺栓。
图2 基于超分辨率恢复和两层次分析的螺栓检测方法框架
3
具体研究内容
一、螺栓图像预处理取
首先考虑拍摄过程中的图像运动模糊问题。若被测物在拍摄瞬间发生移动，即电子快门控制电荷耦合元件在感光片竖直方向产生光电感应的瞬间存在位移，与第一行光敏物质所获取的物体像素相比，第N行光敏物质所获取的物体像素位移∆xp=vt/(f+∆f)。因此去运动模糊问题可概括为评估所采集视频中哪些帧存在运动模糊，并对模糊的图像计算模糊方向和模糊核尺寸，进一步总结为计算视频中相邻帧之间的位移差和位移矢量方向。因此提出一种基于光流和逆滤波的无人机图像运动模糊检测和去模糊方法，首先采用Lucas-Kanade (LK)光流算法自动计算相邻帧的位移和方向，进而筛选出模糊帧；接着对模糊帧采用所计算的模糊核大小和方向及逆滤波方法直接去除模糊，方法的处理流程如图3所示。
图3 所提出的去运动模糊方法的处理流程
在解决图像的运动模糊问题后，再考虑利用超分辨率方法克服单个螺栓的像素低的问题，本部分提出一种基于ESRGAN的自适应尺度分割解决上述问题。
对采集的螺丝图像进行自适应尺度分割的目的是尽可能将螺栓识别后分割出的单个螺栓尺寸统一，并尽可能增强细节以保证最后螺栓情况判别时能保持稳定、高精度的评判。所设计的自适应尺度分割方法的核心是将不同距离拍摄的螺栓图像进行缩放(一般情况下是放大)使缩放后的螺栓图像中单个螺栓的尺度接近分类模型的输入尺寸，即224×224。实现该目的的操作步骤为：首先对无人机采集的源图像采用多尺度模板匹配寻找图像中最小螺栓的外接矩形尺寸，该尺寸与长边与224像素的比例即为源图像的缩放比例。接着将缩放比例取整，与2倍、4倍、8倍进行对比，取最接近的倍数，然后采用预训练的ESRGAN网络对源图像进行相应的2倍、4倍或8倍超分辨率放大。最后采用滑动窗的方式以20%重叠率截取放大后的图像，所截取的图像即为自适应尺度分割的图像。方法的操作流程如图4所示。
图4 自适应尺度分割方法的处理流程
二、基于两阶段网络的螺栓病害分类
考虑到桥梁螺栓检测过程中螺栓数量庞大，人工难以复核自动检测的结果是否准确，因此保证螺栓的正确识别是最重要的目的。基于此提出采用目标检测模型和分类模型分步检测的方法，首先由YOLO v5x模型识别螺栓，记录螺栓位置，并根据识别结果将螺栓从图像中分割出来；分割出来的单个螺栓图像再经过efficientNet网络进行分类，判别正常螺栓、锈蚀螺栓和松动螺栓。本部分对比了仅使用单个目标检测网络和所提出的两阶段检测方法的检测精度，如下图所示：
图5 使用单个目标检测网络和两阶段检测的精度对比
三、在役桥梁螺栓检测实例
测试桥梁为某人行悬索桥，该桥梁总长197.7米，中间跨径115.7米，桥面宽2.7米。桥面系为纵横槽钢结构，其中桥梁横向短槽钢总计53根，纵向槽钢5根，索夹106个。检测中关注的螺栓为桥梁底部槽钢连接螺栓和吊索索夹固定螺栓，其中槽钢连接螺栓371颗，索夹螺栓742颗。
图6 悬索桥的无人机检测过程，(a)桥底螺栓检测，(b)索夹螺栓检测
在采集完桥梁整体螺栓视频后，采取前述方法分步处理。首先采用基于光流和逆滤波的方法自动去除所拍摄视频中包含的运动模糊，由于所拍摄的视频的曝光时间一致，因此对于视频的去模糊处理无需人工调整参数，可自动处理，图7是采用所提出方法去除模糊的图像与原始图像的对比。
图7 所提出的图像去模糊方法的效果
在自动消除视频运动模糊后，对图像进行自适应尺度分割。在使用自适应模板匹配后，计算得到索夹螺栓的尺寸在120×80像素~300×200像素之间，螺栓尺寸大多数在50×100像素~200×250像素之间，要超分辨率到240×240像素对于绝大多数图像只需要放大2倍，因此采用2倍超分辨率ESRGAN网络批量处理无人机视频。
最后采用所提出的两阶段螺栓检测方法分析螺栓的健康状况，得到桥梁的螺栓检测结果如图8所示。结果显示近9.1%的桥底螺栓已经松动，而且大部分螺栓都有一定程度的锈蚀。图3-30所示的检测结果为桥梁的健康管理提供了直观实用的指导，证明所提出的方法适用于在役桥梁。
图8 桥梁螺栓检测结果
4
结论
本研究提出了一种实用化的基于无人机桥梁螺栓快速检测方法，并以在役桥梁为测试对象验证所提出方法的有效性。与已有工作不同的是，本研究着重于分析、解决无人机检测螺栓过程中的实际问题，以求达到稳定准确的检测效果，具体贡献如下：
(1)针对无人机在快速移动、转动拍摄桥梁各部位螺栓时造成的运动模糊问题，提出了针对桥梁侧面、底面、索夹螺栓的拍摄方法，并依据拍摄时无人机的运动形式建立了运动模糊模型，采用逆滤波算法消除拍摄图像的运动模糊。
(2)针对无人机拍摄螺栓时拍摄距离不固定，使螺栓图像中单个螺栓所占的尺寸不统一，造成后面工作中螺栓病害判别结果不稳定的问题，提出了一种基于多尺度模板匹配和超分辨率的自适应尺度统一分割方法，首先根据多尺度模板匹配确定图像中最小螺栓尺寸，该尺寸与判别模型的输入尺寸相比即为图像需放大的倍数；而后采用基于ESRGAN网络的图像超分辨率方法对图像进行放大，并按螺栓识别网络的输入尺寸和20%的重叠率分割所放大的图像，分割后的图像即为螺栓尺度统一的图像。
(3)针对传统基于深度学习的螺栓检测方法直接应用目标检测网络识别螺栓同时判断病害的方法存在病害判别准确率较低的问题，提出采用两个网络分步判别的方法，先识别分割螺栓再判别螺栓病害。对比应用了最新的YOLO v5系列网络实现螺栓的快速识别与自动分割，并采用efficientNet网络判别螺栓病害。通过与传统只采用单一模型检测的方法对比显示所提出的分步检测方法精度更高。
(4)所提出方法从数据采集、训练集制作和方法验证上都立足于在役桥梁工程，而不是大多数已有研究中的实验室构件。在悬索桥的验证中显示所提出方法能准确、自动地检测桥梁螺栓健康状况，达到与人工检测相同的精度，证明所提出方法具备工程意义。
作者简介
蒋 赏
东南大学土木工程学院博士毕业
研究方向：检测无人机开发，机器视觉，人工智能，嵌入式开发
图 文：蒋 赏
编 辑：苏子阳
校 核：张 建
—END—高效学习3D视觉三部曲
第一步 加入行业交流群，保持技术的先进性
目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶方向，细分群包括：[工业方向]三维点云、结构光、机械臂、缺陷检测、三维测量、TOF、相机标定、综合群；[SLAM方向]多传感器融合、ORB-SLAM、激光SLAM、机器人导航、RTK|GPS|UWB等传感器交流群、SLAM综合讨论群；[自动驾驶方向]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器讨论群、多传感器标定、自动驾驶综合群等。[三维重建方向]NeRF、colmap、OpenMVS等。除了这些，还有求职、硬件选型、视觉产品落地等交流群。大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。
第二步 加入知识星球，问题及时得到解答
3.1 「3D视觉从入门到精通」技术星球
针对3D视觉领域的视频课程（三维重建、三维点云、结构光、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业、项目对接为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：「3D视觉从入门到精通」
学习3D视觉核心技术，扫描查看，3天内无条件退款
3.2 3D视觉岗求职星球
本星球：3D视觉岗求职星球 依托于公众号「3D视觉工坊」和「计算机视觉工坊」、「3DCV」，旨在发布3D视觉项目、3D视觉产品、3D视觉算法招聘信息，具体内容主要包括：
收集汇总并发布3D视觉领域优秀企业的最新招聘信息。
发布项目需求，包括2D、3D视觉、深度学习、VSLAM，自动驾驶、三维重建、结构光、机械臂位姿估计与抓取、光场重建、无人机、AR/VR等。
分享3D视觉算法岗的秋招、春招准备攻略，心得体会，内推机会、实习机会等，涉及计算机视觉、SLAM、深度学习、自动驾驶、大数据等方向。
星球内含有多家企业HR及猎头提供就业机会。群主和嘉宾既有21届/22届/23届参与招聘拿到算法offer（含有海康威视、阿里、美团、华为等大厂offer）。
发布3D视觉行业新科技产品，触及行业新动向。
第三步 系统学习3D视觉，对模块知识体系，深刻理解并运行
如果大家对3D视觉某一个细分方向想系统学习[从理论、代码到实战],推荐3D视觉精品课程学习网址：www.3dcver.com
科研论文写作：
基础课程：
[1]面向三维视觉算法的C++重要模块精讲：从零基础入门到进阶
[2]面向三维视觉的Linux嵌入式系统教程[理论+代码+实战]
工业3D视觉方向课程：
[1]（第二期）从零搭建一套结构光3D重建系统[理论+源码+实践]
SLAM方向课程:
[1]深度剖析面向机器人领域的3D激光SLAM技术原理、代码与实战
[1]彻底剖析激光-视觉-IMU-GPS融合SLAM算法：理论推导、代码讲解和实战
[2]（第二期）彻底搞懂基于LOAM框架的3D激光SLAM：源码剖析到算法优化
[3]彻底搞懂视觉-惯性SLAM：VINS-Fusion原理精讲与源码剖析
[4]彻底剖析室内、室外激光SLAM关键算法和实战(cartographer+LOAM+LIO-SAM)
视觉三维重建：
[1]彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进)
自动驾驶方向课程：
[1] 深度剖析面向自动驾驶领域的车载传感器空间同步（标定）
[2] 国内首个面向自动驾驶目标检测领域的Transformer原理与实战课程
[4]面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
[5]如何将深度学习模型部署到实际工程中？（分类+检测+分割）
无人机：
[1] 零基础入门四旋翼建模与控制(MATLAB仿真)[理论+实战]
扫一扫
620
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
