qq_36130719的博客

本文提出了一种名为GCRANet的RGB图像显著目标检测算法，并与15种先进算法进行了定性和定量对比。定性分析显示，GCRANet在各种复杂场景下均能有效突出显著目标并抑制背景噪声。定量分析表明，GCRANet在PR曲线、F-Measure值、S-Measure值和MAE值等指标上均优于对比算法，尤其在F-Measure值上表现突出。此外，GCRANet的检测速度达到29FPS，仅次于RANet和POOLNet，但在检测精度上显著优于RANet。总体而言，GCRANet在显著目标检测任务中表现出色，具有较高

本文探讨了空间和通道注意力机制的融合及其在显著目标检测中的应用。空间注意力机制关注图像的空间信息，而通道注意力机制则聚焦于通道信息。通过融合这两种机制，如卷积块注意力模型（CBAM），可以提升网络在通道和空间维度上的特征提取能力。本文设计了一个残差注意力模块，结合了空间和通道注意力，以处理不同分辨率和通道数的特征。此外，文章还讨论了多特征融合策略，通过融合不同层次的特征（如高层语义信息和低层细节信息）来提高显著目标检测的性能。在RGB-D显著目标检测中，文章提出了前期、后期和多尺度融合策略，以有效融合RGB

随着互联网和人工智能的快速发展，图像和视频处理在计算机视觉领域的重要性日益增加。显著目标检测作为模拟人类视觉机制的技术，能够识别并精确分割图像中最引人注目的目标区域，对高级计算机视觉任务如语义分割、图像检索、目标跟踪等具有重要应用价值。文章详细介绍了显著目标检测的两个主要阶段：显著前景目标的检测和精确区域的分割，并探讨了该技术在工业、医学和日常生活等领域的广泛应用。此外，文章还讨论了RGB和RGB-D图像在显著目标检测中的应用，以及深度学习技术在此领域的进展和挑战。最后，提出了两种新

为了评估网络对交通目标检测性能，在本节使用BDD100K数据集[34]作为训练集 和验证集。BDD100K数据集是用于无人驾驶研究的开源数据集，是目前无人驾驶领 域公开的最大规模、标签种类最多、信息最丰富的数据集，它包含了10万个视频数 据，涵盖了无人驾驶方向的10个任务，标签涵盖了目标检测、车道线标记、驾驶区 域、视频跟踪等，并且数据中包含了GPS、IMU等信息，涵盖了雨雪、夜晚、白天等 各种天气和时间的路况情景。

深度学习作为机器学习的一部分，经历了一段时间的发展，现在已经成为研究热 门和趋势，其在计算机视觉领域的应用取得了显著的成绩。本章主要介绍深度学习的 基础理论和常用的卷积神经网络CNN（Convolution Neural Network），为无人驾驶视 觉感知系统的实现奠定理论基础。

为验证本文改进算法的可行性，本文在完成公共视频测试集的仿真实验之后进行机器人目标检测实验。以仿人机器人NAO作为硬件平台，如图2-13所示。NAO机器人拥有额头处和下颌处两个摄像机镜头，分别用于远景和近景的采集，两个摄像头不可以 同时启动。本文采用机器人额头处的单目摄像头作为视觉传感器获取运动目标及场景相关信息，并确保运动目标出现在机器人视野内。通过PC端实时接收机器人NAOqi系统 中的ALVideoDevice视频图像传输模块所采集的视频数据，然后运用检测算法获取机器人视野中的运动目标。

计算机视觉[1-4]作为一门包括图像处理、机器学习、模式识别等辅助领域在内的综合 性学科，其主要目的是由摄像机、摄像头、计算机等视频图像采集设备获取场景中的信 息，然后将这些信息转换为数字信号的形式进行下一步处理，并将其呈现为更加容易被 人理解的形式。计算机视觉作为获取周围环境中相关信息的关键技术，近年来引起了国 内外众多学者的关注。

可以看出，从第699帧开始，渔船1逐渐被客船2 遮挡，直至完全遮挡，在第1036帧，被遮挡的渔船1重新出现，ID变为3，此时客船4 逐渐驶离岸边，从第1036帧到第1592帧，客船2和渔船3相继离开视野，之后，客船4 继续驶向对岸。在视频2中，仅因为渔船被长时间遮挡发生了1次ID切换，其余过程均 跟踪正常，在客船2靠岸的过程以及客船4离岸并驶向对岸的过程中，船舶因转向发生了严重的形变，但均能够被改进中心点算法正确检测，因此，中心点检测算法的引入大幅提 升了跟踪算法的跟踪准确率。

中国海岸线漫长，国土面积巨大，具有得天独厚的内河以及海洋航运条件，为能源运 输、进出口贸易发展提供了便利。随着社会经济快速发展，以长江、珠江、淮河等水系为 主体，我国内河航运建设与发展取得了显著成效，港航基础设施和运输规模位居世界前列， 已成为综合运输体系的重要组成部分[1]。2020年交通运输部在《内河航运发展纲要》中 指出，未来15年里，将继续开发千吨级内河航道，增加内河运输货物周转量，缩短重要 航道和港口应急时间，增加投入使用新能源和清洁能源船，并使用人工智能技术促进内河 航运信息化发展。

知识拓展6.2.3主干网络对比分析汇总上述有效的改进方案，我们最终构建了完整的特征融合加强的主干网络SFEDNet。为了从精度与速度方面分析改进的综合效果，本节将从主干网络整体的角度，进行SFEDNet与其他主流主干网络之间的对比实验。这里依然以一阶段检测算法YOLOv3为框架，通过主干网络的替换得到不同的检测算法，以其在小目标任务上的表现来评价对应主干网络的性能。由表6.3的对比分析可知，我们的SFEDNet主干网络在所有的精度指标上都取得了最高，这表明了TDL。

具有重要的应用价值，受到了人们越来越多的关注，其对于检测算法提出的主要包括如下两。的特征信息进行检测，这种设计缺少对浅层信息的融合，导致其在小目标检测方面性能不佳。的不同作用，验证小目标检测算法进行多级特征融合的必要性，同时针对特征融合效果相对。较好的主干网络进行融合效率与检测性能的分析，并发现其在小目标检测任务中的问题，进。而提出针对性的特征融合策略改进方案，以突破当前小目标检测算法在特定任务场景下的技。种模块级的特征融合结构并应用于改进后的密集连接模块，构造浅层特征高效融合的小目标。

在上一章中，介绍了基于深度学习的目标检测与计数方法，本文对目标检测与计数任 务采取了先检测后计数的步骤，由于通用的目标检测算法在特征学习过程中产生了多次下 采样，在下采样过程中容易造成小目标特征丢失，导致小目标检测精度不高，对于无人机 视角下的目标检测表现并不优秀。为此本章设计了基于改进YOLO v4算法的露天目标检测 模型。

无人机在一系列民用领域如农林植保、生产监控、地理测绘、治安巡查、应急救援等领 域应用广泛。随着硬件性能的不断提高，无人机和计算机视觉技术的联系日益紧密。与街道 固定的摄像头相比，无人机有着更强的灵活性，能够对任意范围的公共场所、工厂、道路交 通进行监控和侦查，而露天目标特别是人群和车辆的检测与计数是无人机在应急救援、生产 监控、治安巡查等领域的重要研究方向之一，具有重要的研究意义。

上节阐述的共生滤波可以平滑纹理方面处理的更加优秀，同时清晰保留了纹理之间的边 界。本小节介绍基于金字塔共生特征架构的红外小目标检测算法，算法的整体框架如图3.2 所示。 首先，定义自适应结构元素。因为不同的结构元素对最终的平滑效果影响很大，而红外 小目标的所占像素相对于背景而言是很少的，所以结构元素的尺寸不易过大。考虑到本文所 使用的数据集中，小目标所在区域的长宽都不超过7个像素点，所以采用7×7的菱形结构元 素，结构元素如图3.3所示。图中标红的为结构元素中心位，通过这个结构元素对原图进行 遍历，获得当

在信息社会以及计算机算力的快速发展下，对于数据处理的实时性和准确性要求也越来 越高。伴随着人工智能这一技术领域的出现，使得在一些特定场景下，计算机视觉可以承担 人类的部分视觉工作任务。计算机视觉的含义是使用计算机对生物视觉的一种模拟，更准确 的说，就是用摄像头代替人眼的部分工作，对待检测目标进行测量、识别和追踪等任务，并 使用计算机处理采集到的图像或视频信息，其最终目标就是使计算机能够像人脑一样具有观 察理解信息流的能力。

3.3.1实验平台搭建在算法训练过程中，网络的学习能力与效率，与相应参数的设置相关，而每 一次参数设置都伴随着百亿次的浮点数运算，因此每一次网络的训练都需要消耗大量的时间。本课题在64位的WINDOWS 10系统，选用tensorflow和darknet框 架训练网络模型，依赖的库有OpenCV3.5、numpy等，CPU为Intel(R)Xeon(R) CPU E5-2667 v4@3.2GHZ，GPU为NVIDIA Ge Force RTX 3090。

随着科学技术与人工智能的不断发展，无人机的使用给人们的日常生活和工 作提供了巨大的便利。无人机凭借尺寸小、操作灵敏等优点，替代人类完成一些 危险或难度高的任务，例如森林防火、高压输电线路巡检、环境监测等。伴随着 无人机应用技术的发展，对于无人机应用技术人才的需求也逐渐增多。而当无人 机作业于复杂环境时，对于操作员飞行技术则需要严格的要求，因此相应地也会 在专业考核系统中对于操作员的飞行能力进行评估。目标检测主要从图像背景中分离出前景目标，在车辆检测、智能监控、电路 巡检等领域有着重要的应用。伴随着计算机图

如图1.1所示，传统的目标检测方法主要包括以下三个步骤，分别是：寻找候选区域、特征提取以及使用设计的分类器对目标进行分类。首先，通过候选框在输入图像上选择多个大小不一的候选区域，接着使用设计的特征提取器提取每个候选区域中的手工特征，最后将提取到的手工特征送入不同种类的分类器进行回归和分类，从而检测出待检目标。传统的目标检测方法第一步是通过候选框来确定目标的位置，由于目标的大小和出现的位置具有不确定性，所以一般是采用大量多尺度的滑动窗口对图像上的每一个像素点进行遍历。

作为单阶段目标检测算法中的经典框架，YOLO系列算法一经提出便以其极高的检测速率成为实时性目标检测算法的代名词。随着YOLO系列的迭代，其无论是从模型推理速度还是模型的检测精度都有了极大的提升。YOLOv5算法作为YOLO系列的集大成者，整体结构和YOLOv4相似，仍然是分为输入端、特征提取骨干网、特征融合网络以及检测头网络四部分，但是每个部分都有所改进。网络通过depth_multiple和width_multiple两个参数分别控制模型的深度和宽度，从而在不修改。

人工神经网络（ANN）是科学家通过对人脑逻辑的分析，通过数学建模的方式模拟大脑计算信息的过程，建立的一种数据处理模型。通过合理的设计，利用训练数据进行自适应学习，生成一个能拟合海量数据的多维非线性函数。深度学习就源于人工神经网络的研究[34]，深度学习其实就是通过对模型层数加深的神经网络。深度学习和人脑的认知方式异曲同工之处，人随着年龄越大，经验越来越丰富，处理事情就越来越好，深度学习模型也一样，随着模型的加深，输入数据。

通过对采集的无人机探测视频进行每5帧抽取一张图片的操作，共获得9143 张无人机车辆目标检测数据，同时经过数据增强处理又获得5424张数据集。 无人机探测视频车辆目标检测数据集的构建需要获取图像中目标的位置以 及类别信息，通过观察无人机拍摄的数据集，最终确定将car，van，truck和bus 这四个种类的目标进行检测。如图3-7所示是部分样本数据集的示意图，car 类 别主要包括客车、汽车、商务车，van类别主要是面包车、货运箱车等，bus 类 别主要是公交车、大型巴车等，truck 类别主要是货车和

在SSD算法中一共有5层不同大小的特征层用来检测，每一层特征层中采用了4种 或者6种尺度的锚框，并且每一层的锚框大小会线性的增加，分别为30、60、111、162、 213、264，共有5776个小尺度锚框，2916个中尺度锚框，40个大尺度锚框，在多种尺度 的检测层上设置不同大小的锚框，这种设置方法相对于Faster R-CNN显得更加合理。在目标检测任务中，主要分为了目标的分类和定位，其中分类的好坏直接决定了检测 结果，只有对目标完成正确的分类，定位才有意义，因此分类对于目标检测任务是至关重 要的。

TT-100K数据集虽然规模较大、数据质量较高及所含种类也较多，但并非完 美，正因其分类种类多达221种，导致数据集中各种类的出现频率分布相差悬殊， 出现最多的交通标志出现超过2500次，而最少的只出现一次，还有很多类别出 现不到10次，还有部分种类缺乏样本。TT100K出现频率大于100的类别和对 应数量统计如图3.8所示。 在实际研究中常采用出现频率最高的若干个类别或出现频率超过100的45 个类别进行研究，因为出现频率过少的类别不适合用深度学习的方法进行检测训 练。如果使用原始TT-100K数据集的全

圣地亚哥机场数据集（San Diego Airport data set，SD-Airport）：第一个数据 集由美国加利福尼亚州圣地亚哥机场区域的机载可见光/红外成像光谱仪 (Airborne Visible/Infrared Imaging Spectrometer，AVIRIS)获取。该数据集空间分辨 率约为3.5m/pixel，光谱分辨率为10nm。它包含224个光谱波段，波长范围为370-2510nm。

本文篇幅较长，分为上下两篇，上篇详见。

在这一章节中，我们将详细地介绍基于元学习的自动化通道剪枝方法，通过 我们剪枝方法得到的子网络可以满足不同浮点运算量的限制约束。我们将N表示如图4-1所示，我们的通道剪枝方法可以分为两个步骤，首先是训练权重生 成元网络，该网络是一种通过输入随机初始化的网络编码向量后可以自动生成子 网络权重的权重生成模型，每一个网络编码向量都代表了一种特定的子网结构， 元网络会为每一个子网结构生成其相对应的权重。

在第二章介绍了本研究的跨模态特征融合方法，第二章对于多级别特征的融合， 使用的是与基线模型baseline相同的方法：相邻级别的特征中，高级特征进行上采 样到与低级特征相同的尺度，再将高级特征通过降维得到与低级特征相同的通道数 量，最后对二者进行特征叠加，如此自顶向下的进行多级别的特征融合。本章主要 介绍本研究在特征层面的另一发现，并基于此发现引出的本文的第二个创新点：多 级别特征的融合方法。另外，在网络最深层，本文设计了一个新的模块来获取大的 感受野，对于大尺度目标能够增加更多语义信息，提升检测效果。骨

本章的全球小麦穗检测数据集（http://www.global-wheat.com/）是公开数据集。该数据集是由多个国家共同构建的，并且是第一个从田间光学图像中检测麦穗的 大规模数据集。该数据集中包含了4700张高分辨率RGB图像和19万株从世界 各地几个国家收集的不同生长阶段、不同基因型的标记小麦。在户外野外图像中 准确检测小麦头部是一项视觉挑战。浓密的小麦植株经常重叠，风会使麦穗发生 摇晃，使得拍摄的照片变得模糊。这两种情况都使检测农作物小麦麦穗变得困难。

可以证明在对小目标的检测上，本文改进。表4.1展示了不同层的嵌入方式在三种基线下的top-1 error对比情况，对于 ResNet-50、ResNet-101、ResNet-152，底层的嵌入方式均取得了较好的效果，具 体来讲，在底层（Conv1层）嵌入FA-block使得ResNet-50的top-1 error从24.7%减少到22.6%，这个错误率甚至相对于ResNet-101的23.5%更小，而ResNet-101 网络的计算量几乎是加入了FA-block的ResNet-50网络的两倍。

基于卷积神经网络的目标检测技术首先要求收集大量的样本图片，然后把这些图 片标注出目标的位置，生成文件，作为训练数据，以此来训练模型。目标检测技术的 关键步骤，一部分是需要利用学习模型进行相关生物信息的比较，另一部分是从大量 实验数据中提取特征并形成训练数据，使用训练数据来训练模型，得到识别模型来保 证系统的准确性。利用改进的YOLOv3模型对样本数据集进行训练，如果数据集的 数量不够，将直接影响训练的好坏。

由超分辨率模块生成的超分辨率图像SR已经对小目标的细节信息进行了补偿，可 在实际场景中，图像背景的颜色、噪声等也可能会影响检测器对小目标边缘的界定，从 而导致检测精度的下降。正因如此，本文拟对小目标的边缘再进行一次增强。为了防止 在边缘增强的同时对图像的非边缘部分产生影响，尽可能完美的提取图像边缘就显得尤 为重要。换言之，一个优秀的边缘检测算法将有效的提升模型的边缘增强效果。为了有效的抑制噪声和精准的定位图像中的边缘路径，本文分别对Sobel算子[26]、 Laplace算子[27]以及Canny算子[2

本章所使用的硅基金黄光LED光源来源于南昌大学国家硅基LED工程技 术研究中心研发的一种无荧光粉的纯LED照明技术，这一技术突破了国际上采 用蓝光LED芯片激发黄色荧光粉的LED荧光照明技术垄断。 传统的荧光照明技术存在由于荧光粉光光转换带来的能量损失和散热困难 问题。荧光光谱中的蓝光成分高，显色指数低、色温固定、效力潜能有限。硅基金黄光LED照明技术从根本上避免了LED荧光照明技术中的“富蓝光危害”问 题，具有更高理论光效、高可靠性和更高生物安全等级。硅基金黄光LED是将 高光效的硅基黄光LED和红光

航空图像数据集主要由无人机和卫星在空中采集，本文用到的航空图像数据集分 别是VisDrone 2019、DOTA和UAVDT；其中，VisDrone 2019和UAVDT是无人机拍摄 的航空图像数据集，DOTA是卫星拍摄的航空图像数据集。航空图像在空中拍摄，拍摄 角度和拍摄高度不受限制，因此图像的特点也和普通图像不同。 VisDrone 2019数据集的主要标注的目标是：常见交通工具和行人，具体包括： 行人、人、自行车、汽车、面包车、公共汽车、三轮车、带蓬三轮车、摩托车、卡车， 一共10类目标，其中只有站

水下环境中的目标检测面临诸多挑战，如目标模糊、光照不均匀、目标遮挡等。改进YOLOv5模型以适应这些挑战，可以显著提高检测的准确性和召回率。

通过上文对毫米波雷达原始数据进行3D-FFT和CFAR处理后，将会生成点 云数据和反映目标位置信息的距离-角度图。接下来通过对点云执行聚类算法获取 目标的中心位置，并以聚类后的结果为中心点，设置大小合适的边界框截取包含 目标信息的数据块，后续用于生成目标微多普勒时频图进行分类。其目标检测流 程如图3-6所示。 经过第二章的雷达原始回波数据处理流程后会生成被探测目标的点云数据， 其中包含了被探测目标的距离、角度及速度信息。由于本文是基于真实道路场景 下的目标识别，而道路环境的目标是处于运动中的，无法预测探测过

本文实验中使用的车辆行人检测数据集为TID数据集，即交通路口数据集（Traffic  Intersection Dataset，简称TID），该数据集由两部分组成。 本文从网络公开图源上获取到一段交通路口监控视频，

DeepSORT[ 64]匹配模型是目前应用范围最广的目标跟踪模型。由于DeepSORT算法不 仅保证了实时计算需要而且使用了外观特征数据进行关联，从而使其大幅降低了跟踪过 程中出现的身份ID切换次数。虽然DeepSORT算法在模型无法完成端到端的优化，降低 了使用的便捷性，但是由于其结构简单，便于使用者针对最终效果做特异性优化，例如 提升检测器性能或者微调跟踪器参数，因此DeepSORT算法广泛应用于魔门塔等智能车感 知系统中。

本节将针对Efficientdet-Gs算法的优越性以及TensorRT推理引擎的有效性进行实验验证与分析。首先介绍了所用数据集、实验环境及实际训练过程；随后通过自身消融实验及与主流算法的对比实验验证了改进算法的优越性；利用Efficientdet-Gs算法 结合TensorRT后的加速效果说明其有效性；最终以可视化的形式进一步证实了对算 法的优化结果。 当前，开源的数据集多种多样，本章实验主要基于BDD100K数据集进行。 BDD100K（A Large-scale Diverse Driving

在多光谱图像的采集实验中，所获取的成像数据是图像中每个像素点的灰度 值，因此为了获得待测目标较为准确的反射率光谱特征曲线，需要对所获得的各 类目标的原始灰度图像进行反射率光谱重建。为了消除各类目标因表面分布不均 匀和光照因素对目标反射率造成的影响，在进行目标反射率光谱重建之前需要对 所采集的各类目标的多光谱图像进行感兴趣区域选取，然后对所选取的感兴趣区 域内的所有像素点求灰度均值，并利用多光谱图像反射率光谱重建模型计算出目 标的反射率光谱曲线。在利用成像设备对待测目标进行多光谱图像采集时，由于各待测目标的

在本节中，描述双神经网络的小目标复检方法的详细研究过程，并展示了方法的步 骤。该方法采用双神经网络结构精细处理图像中可能包含的小目标区域以优化检测，增 强了小的目标特征，并使其更具鲁棒性。