qq_36130719的博客

在深度学习的整个训练与计算中，存在着大量的矩阵操作。常规CPU的优势是串行运 算，故GPU是大规模矩阵操作的首选。目前主流的算法都是利用GPU的强大并行运算能力， 对深度学习模型进行训练。表3-2显示了本实验的软件和硬件配置，CUDA是由NVIDIA开发的集成计算平台，它 可以加快对深度学习中的卷积等方面的矩阵操作。在Pytorch神经网络框架下进行训练和预 测时，CUDANN能够利用CUDA+ CUDANN来调用GPU加快模型的训练和预测，提升用户 体验。

无人机是一种利用遥控或地面控制系统进行自动或半自动飞行的无人飞行器[ 1]。随着 市场需求的日益扩大，无人机已经成为了人们关注的焦点，它将取代人类从事危险、枯燥 和繁重的工作[ 2]。在军事、农业、交通、商业、水利、能源以及医疗等方面，都有着广泛 的应用。在农业生产中，经常用于喷洒农药，监测农情，播种等；在商务活动中，经常用 于快递运输，影视拍摄，广告宣传等；在交通行业中，经常被用于公安、交警、高速公路 应急管理等方面[ 3]；在水利工程中，经常应用于防洪指挥调度、大坝工程测绘 [4]；

为了解决这个问题，我们提出了一种基于秩的块设计方案，旨在通过紧凑的架构设计降低被证明是冗余的阶段复杂度。我们首先提出了一个紧凑的倒置块（CIB）结构，它采用廉价的深度可分离卷积进行空间混合，以及成本效益高的点对点卷积进行通道混合C2fUIB只是用CIB结构替换了YOLOv8中 C2f的Bottleneck结构expansion."""expansion."""具体来说，我们在1×1卷积后将特征均匀地分为两部分。我们只将一部分输入到由多头自注意力模块（MHSA）和前馈网络（FFN）组成的NPSA块中。

如果在扇区区域中存在关键点，则搜索扇区区域中最近的关键点（紫色和橙色，扇区中CK的最近关键点）并将其用于表示描述符的对应维度。最后，激光雷达 SLAM 创建的高度详细的 3D 环境地图可用于优化机器人的清洁行为，确保其覆盖房间的所有区域并避免遗漏任何点。低延迟激光雷达传感器可以提供近乎实时的环境数据，这对于需要快速决策的应用至关重要，例如快速移动的自动驾驶车辆中的障碍物检测和避让。与机械扫描激光雷达传感器相比，固态激光雷达传感器具有多种优势，包括更高的耐用性、更低的功耗以及更小的尺寸和重量。

什么是 YOLOv9？随着计算机视觉技术不断发展，YOLOv9 出现作为最新的进展，由 Chien-Yao Wang、I-Hau Yeh 和 Hong-Yuan Mark Liao 开发。这三位研究人员在该领域有着丰富的历史，曾为前几个模型的开发做出贡献，如 YOLOv4、YOLOR 和 YOLOv7。YOLOv9 不仅延续了前辈们的传统，还引入了重大创新，树立了目标检测能力的新标准。YOLOv9 是一种先进的目标检测模型，代表了计算机视觉技术的重大进步。

激光雷达作为现代精确测距和感知技术的关键组成部分，在近几年里取得了令人瞩目的发展。目前国内车规级激光雷达标准逐步趋于完善，伴随半固态式、固态式等技术不断革新，未来作为自动驾驶核心配置的发展潜力巨大。除此之外激光雷达也在机器人技术、智能制造等领域广泛应用，促使激光雷达市场不断增长。激光雷达技术路线多样，当前仍处于多技术路线并行阶段。技术路线有四个主要的维度：测距原理、光源、探测器、光束操纵。激光雷达主要包括激光发射、扫描系统、激光接收和信息处理四大系统，四个系统相辅相成。

线扫相机一次只取图像的一行，随着被检测物体运动，一行接一行地采集，因此用线扫相机采集的一个2D图像的每一行都是在不同时间点采集的。与面阵相机最大的不同就是光源的搭建，为了获取相同的行（物体运动很快），你必须要照亮一条线，但由于速度很快（一般在us级别），因此线扫相机经常需要很高亮度的光照（高达1000000lux）。但是作为线扫相机，提供很高的分辨率（最高16K/线），相机需要拥有高质量镜头与合适的MTF。线扫相机需要物体或者相机运动，最后的图像大小一方面取决于相机的分辨率，另一方面取决于主机拼接的线数。

ToF: Time of flight. 飞行时间。当然这只是一种翻译的方法，其实ToF是一种测距的方法，通过测量超声波/微波/光等信号在发射器和反射器之间的“飞行时间”来计算出两者之间距离。能够实现ToF测距的传感器就是ToF传感器。ToF传感器种类很多，使用较多的是通过红外或者激光进行测距的ToF传感器。使用ToF传感器生成和捕获的数据非常有用，因为它可以提供深度信息，结合相机，就可以得到3D图像，这样就可以进行行人检测，基于面部特征的用户身份验证，使用SLAM（同时定位和映射）算法的环境映射等等。

您必须使用此文件为您的模型提供数据，它就像您收集并存储在这些相应文件夹（train、val、test）中的数据与您的 YOLO 模型之间的桥梁。我做的一件非常有用的事情，是创建一个函数，它可以直接将收集的图像定向到正确的文件夹，您很快就会看到为什么这很有用。好吧，这就是这类项目的主要阶段，希望已经阐述清楚并让您的生活变得更轻松，如果您想使用 ultralytics 的这个令人难以置信的工具 Yolo 复制或进行类似的项目。在这里，您需要一个基本的功能，即通过您自己的网络摄像头收集数据。

个数达到了144865个，为数量最多的类别，而雨棚三轮车、三轮车和公共汽车则为标注数量较少的类别，分别为3243个、4803个和5926个。的特征信息，三类目标在所有类别中属于尺寸较小的目标，获得的检测精度与整体的平均精度相当，行人和摩托车的m AP高于整体的26.1，分别为30.5和31.7。量较多，但由于目标较小，且多以密集的方式呈现，因此检测精度也低于平均水平，由于形似物和其他噪声的干扰，精确率只有68.2。与YOLOv3相同的是，算法最后也使用了三个检测分支来完成目标的分类 和位置回归。

卷积神经网络通常由输入层、卷积层、池化层、全连接层和输出层组成，如图2.1所示。卷积层由多个卷积核和偏置参数组成，不同的卷积核用于提取不同的局部特征，而整张图片可以共享一个卷积核的所有权重。这些特点有利于模型收敛，减少了模型的冗余且更容易训练。池化层的作用是去除图片中的冗余信息，保持特征不变的同时进行特征降维。其中，平均池化和最大池化是较为常见的池化操作。全连接层的作用是把经过卷积和池化操作后的特征连接起来，为分类器的预测做准备。

在右边的网络中，首先对C5层的特征图进行1×1卷积得到P5层的特征图，作用是对通道数进行降维操作。这样虽然能够获得很好的检测性能，但是会产生更多的网络参数，从而加大网络的计算复杂度，因此对硬件设备计算资源的要求就更高了。它主要的作用是可以增大特征层的感受野，而且不会增加模型的参数量，以及可以保证特征图的分辨率不下降。可以看到输入图像首先经过一个常规卷积层，得到了一个通道数为m的特征图，而真正需要的特征图通道数为n，那么下一步需要做的。通常卷积神经网络的实现流程是，先采集大量特征和标签数据，制作数据集。

所提算法CCDR-Net共采用六个不同特征层检测不同尺寸的目标，分别为ResNet-101的Conv3_x和Conv5_x以及后接四层新级联特征层Conv6、Conv7、Conv8和Conv9，Net算法在七类交通目标上进行主观视觉对比，如图4.7所示，共展示了12组图片，每组图片从左至右依次为原图、SSD、CCDR-Net、ACCDR-Net的检测结果对比。其有效性，本节针对基础骨干网络共设置了十个模型，具体情况如下： 模型1 （ResNet-101-SSD）：替换基础骨干网络为原ResNet-101。

4.2.1实例级或图像级对齐？现有的领域自适应目标检测方法的基本做法通常是分别在图像级和实例级对齐两个域，这在理论上是正确的。然而，现实情况是，每张图像往往包含多个目标，而且每个目标的位置根本不是固定的。也就是说，两个域的图像不仅存在域差异，连包含的目标类别和位置也不一样，这使得图像级的对齐还对齐了一些域偏移之外的地方。因此，在图像级别对齐两个域可能会因为一些无效对齐而导致无法按预期工作。在无源领域自适应这种无法访问源域数据的情况下，图像层面的迁移更加困难。

在无监督领域自适应目标检测问题中[31],只有源域数据有标注，目标域数据没有标注，如何才能训练一个好的目标检测模型能让该模型在目标域数据中能得到很好的检测性能是无监督领域自适应目标检测要研究的问题。而在基于深度学习之前，无监督领域自适应目标检测相关方法主要分为两个类别。第一个类别是利用特征表达式将源域和目标域数据映射到共享的隐藏空间，然后利用源域样本的标签信息，训练得到基于该隐藏空间的分类器。第二类方法是基于迁移检测器来作为切入点。

Pascal VOC数据集[26]、Clipart1K数据集[27]、Watercolor2K数据集[27]、Cityscapes。SCAD[37]、DDMRL[125]、SW Detection[35]、ICR-CCR[38]和HTCN[54]。集[26]到Clipart1K数据集[27]，从Pascal VOC数据集[26]到Watercolor2K数据集[27]Foggy Cityscapes数据集[25]数据集[24]、Foggy Cityscapes数据集[25]和SIM10K数据集[83]。

的方法包括DA Faster[30]，FAFRCNN[94]，ICR-DA[38]，MAF[139]，ICR-CCR-DA[38]，37]，SW Detection[35]，DDMRL[125]，SFOD(SED)[82]，SFOD(Ideal)[82]等。38]、SW Detection[35]、MEAA[138]、GAP[142]、SCL[140]和ATF[141]。35]、DA Faster[30]、SCDA[37]、MAF[139]、MLDA[116]、ICR-CCR[38]等。

因此，将主要类从形状或大小相似的类别中分离出来。三维包络框的交并比(Intersection over Union,IoU)用来衡量目标检测框和真实数据检测框的匹配程度，检测目标大致分为三类，包括车辆，行人和骑自行车者。AP指标，具体结果如表4-2和表4-3，实验结果表明，本文提出的改进方法在俯视投影BEV目标检测和三维目标3D检测中的AP指标都超过了基准算法。别用固定比例在这个大的数据集中随机抽取，并组合出最终数据集，最终数据集的类别密度（类别数量/样本总数）是相近的，可以减缓样本不平均问题。

问题，但鸟瞰图往往是非常稀疏的，这使得直接应用卷积神经网络不切实际和低效的。随着GPU和芯片制造的飞速发展，以及深度学习算法的出现，基 于图像的算法能够获得用于确定目标和理解的高层次语义信息。但是在深度学习中需要更为复杂的数据形式。激光雷达是激光在光波频率范围内利用光波频段电磁波对目标进行探测和测距的仪器，然后将其接收到的信号与发射信号进行比对，获取目标位置（距离、方位和高度）、时，还需要依据高精度地图和GPS惯性导航设备进行定位和校准车身姿态，是环境感知系统中重要的一环，为下一步路径规划和决策做基础。

数据预处理主要包括数据增强和基础变换，输入图像经过良好的预处理，可以大幅提 升模型的泛化能力和性能。定点量化，同时也使用了大量的硬件资源，导致其功耗极高，虽然其能效比优于本设计，但其总体功耗并不适用于低功耗的场景；由于YOLO v2网络首层的输入特征图尺寸为，而从DRAM中读取的输入图像尺寸不一定符合该大小，因此需要对输入的RGB图像的尺寸进。到更高的速度，减少模型过拟合的发生。这种结构可以使模型达。硬件实现中，我们将完成这样的一组乘累加运算的单元，称为一个处理单元（process element，

PL侧的静态功耗为0.203w，PS侧功耗为1.284w，MMCM的功耗为0.122w，DSP的功耗为0.201w，BRAM的功耗为0.1w，逻辑翻转、普通信号和时钟的动态功耗分别为0.301w、所用的时间为1.608352490421456秒，图中的Out[18]则是测试图片的最终检测输出结果，可以看到系统检测到图中的马的概率为0.94、人的概率为0.94、狗的概率为0.88。均贴合草莓，位置检测准确；可以看到，对于成熟的草莓的检测效果是很好的，准确率可以达到95%，但是检测未成熟的草莓的准确。

元学习的意思是学会学习，即希望模型能够拥有一种“学会学习”的能力，使 其在已有知识经验的基础上快速学习新的任务，是解决小样本问题的常用方法之一。在机器学习中，数据分为训练集、验证集和测试集，对应的训练单位是数据。而在元 学习中，训练的单位是任务，每个任务中的训练样本称为支持集，测试样本称为查询目前元学习主要分为基于度量的元学习、基于模型的元学习和基于优化的元学 习。基于度量的元学习关键在于计算输入相似度，该方法简单有效，但一般只能用于 监督学习。

从表中可以看出，在URPC数据集上，本文算法⑽在URPC数据集上获得了最优的UIQM和NIQE得分，这表明，本文算法得到的增强图像在量化上的。本文基于MWCNN提出了改进型的水下图像增强模型，和S，其中C和W分别表示其输入的通道数和宽度（长宽一致），C1用于控制输出 的通道数，S用于控制输出的尺寸，BTNK1是一个可以改变输入的特征的通道数和。中1个分支进行2次全连接操作，作为全连接头，随后利用全连接头进行回归分类，另1个分支先进行两次卷积操作在进行全连接操作，作为卷积头，随后利用卷积头对。

和基于深度学习的方法CycleGAN[64]，UGAN[36]，Water-Net[42]，UWGAN[38]（underwaterGAN，水下GAN）和FUnIE-GAN[89]。图4-9为典型的水下色偏的图像，大多数增强方法对其颜色校正的效果有限。比较方法包括传统方法FE[12]，RB[16]，RCP[26]，UDCP[23]，IBLA[28]，Uhaze-line[30]，方法，图像复原方法：RCP[26]，UDCP[23]，IBLA[28]，和Uhaze-line[30]方法，以及基于。

相机成像[68]的过程就是模拟人的眼睛成像的过程，相机采集周围环境的物体会进 行光反射，反射出来的光线通过相机镜头聚焦在感光材料上面，最后通过相机的显示 装置，将感光材料上的光信息进行传输。相机成像包括四种模型：小孔成像模型 (Pinhole camera model)[ 69]、正交投影模型(Orthographic projection)[70]、缩放正交投影模 型(Scaled orthographic projection)[71]、透视投影模型(Perspective projection)[72

本章提出了一个局部特征表征的6D位姿估计算法，算法整体结构如图5-1所示， 首先分别用ISS关键点提取法、3D Harris 关键点提取法、3D SIFT关键点提取法以及 NARF关键点提取法对采样后的点云模型提取关键点，通过对比关键点提取效果及运行 时间，选择3D Harris 关键点提取法提取点云模型中具有显著特征的关键点，然后根据 这些关键点对样本模型的对应位置的特征进行标注并编码，使得点云模型的关键点与 特征的中心点对应，分别用YOLOv5算法网络和第四章提出的YOLOv5-CBE算法网络 对局部特

针对无人机图像背景复杂、分辨率高、目标尺度差异大等特点，基于实时性 和准确性均衡的单阶段目标检测算法YOLOv5，本章提出了一种实时目标检测算 法YOLOv5sm+，力图解决其深度宽度不均衡、分类精度、实时性不足等问题。 首先为解决无人机图像目标尺度差异大、小目标检测率低的问题，分析了深度模 型中模型深度和宽度对无人机图像检测的性能增益，提出了可显著提高感受野的 混合残差空洞卷积模块，并结合无人机图像特点对YOLOv5s模型针对性改进， 设计了YOLOv5sm模型。其次为进一步优化改进模型的实时性与识别率，

本文结合ROS操作系统、软件仿真平台Gazebo、通信包MAVROS以及PX4来进 行无人机目标检测的仿真实验，如下图是PX4的软件在环(SITL)仿真的系统通信接口连接图如下图4-15所示：在仿真系统中，由Gazebo提供一个虚拟世界的仿真环境，并且提供无人机仿真模 型和虚拟的GPS、IMU等各种传感器的相关数据。

对于目标检测框架来说，两级模型在准确率方面性能更佳，但网络架构较为 复杂，检测速度较慢；单级模型更为轻量，可以结合小型化便携式设备实现实时 检测。本文拟采用两级模型中基于ResNet50和Inceptionv2骨干的Faster-RCNN 网络以及单级模型中的Yolov4和MobileNetv2-SSD网络在构建好的BCCD数据 集上进行训练和测试，并对它们的整体性能进行评估和对比。 Faster-RCNN摒弃了传统的选择性搜索和滑动窗口算法，将区域提案网络 （Region Proposal Netwo

通过计算IoU和人为设定IoU的阈值，从而确定一个检测结果（Positive）是正确的（True）还是错误的（False），从而进一步得到每一个检测结果是真正例（True Positives）、和方向的偏差，但也在可承受范围内，具有一定的鲁棒性。之具有一定的精准度；第二，利用卷积神经网络对3D特征信息进行提取，然后再 利用重投影、模板匹配等诸多算法，对位置信息进行计算，由此得到三维检测框。3D空间数据进行投影，使之转换成不同平面，接着对不同视角影像图特征进行融合，对目标在立体空间中的信息进行动态检测。

Pseudo-LiDAR采样可以遵循随机性的方法，对全部点云进行采样，然而该方式很可能会抹去小物体的点云，对相隔较远处的物体检测衰减也能够预期，如图。功能，因此本文将掩码乘到对应的原始点云特征𝑝上，再与原始𝑝以残差连接的方式相加，得到最终的融合特征，最终输出定义如公式4-5所示。主干特征的提取网络选择Densenet161，对深度估计模型进行训练并收敛，以视为后续端到端训练的的预训练模型。根据表5-1可以得知，本文建立的实验神经网络模型数量达到6个，Base表示的是基线，SSIS确定的。

干网络中，虽然提取的特征中语义信息较少，但有较多形状和位置信息，增加CA模块后，在空间和通道维度对目标特征信息进行融合，使特征信息进一步丰富。卷积核，提升网络的空间利用效率，既维持了从通道维度设计的效率，又通过空间维度的设计提升了检测效能，即使在不同空间位置上不共享权重也不会引起参数量和计算量的显。息进行编码，并且可获得目标邻域内的其他特征信息，而骨干网络中的浅层特征图包含有较多的目标位置信息，CA模块的作用可充分发挥。表中，TP为真正样本，FP为假正样本，FN是假负样本，TN是真负样本。

和空间注意力模块（Spatial Attention Module，SAM) [48]，分别可以在通道和空间维度上分别进行算法注意力的改进，使用便捷，不会产生很大的计算量开销，可以和原有的卷。算法在SSD中增加了反卷积层，训练后得到的高层特征图包含的目标细节信息更多，这使网络能更加关注目标特征信息，减少了背景信息对检测结果的影响，提高了算法。交集为两个框重合部分，并集为两个框的总覆盖面积。息的这种情况，可以使用剪枝的操作手段，对模型进行处理，来删除收益过低的一些计 算成本，有助于实现更紧凑的模型表示。

近年来，得益于红外成像技术的蓬勃发展，红外弱小目标检测技术被广泛应用于各种预警系统和民用安防系统等。本章在阐述红外成像过程的基础上，充分把握红外单帧和序列图像中的背景、弱小目标和噪声的内在特性并进行细致分析，最后讨论了红外弱小目标检测效果评价方法，为接下来的研究提供理论基础。在对高强度杂波边缘类复杂背景下的弱小目标检测时，极易产生大量虚警。因此，针对上述问题，本章根据背景与目标特性提出一种基于区域双邻域显著图（Regional。

Ultralytics公司于2023年初发布YOLOv8模型，相较于2020年发布的YOLOv5模型， YOLOv8模型将C3模块（CSP Bottleneck with 3 convolutions）改进成C2f模块（CSP Bottleneck with 2 convolutions）。图中CBS（Convolutions Bn SiLU）模块由基础卷积(Conv)、批量归一化(BN)和激活函数(SiLU)组成。

本案例原始数据存在标注错误的情况，如标注数据中图像长宽为0，本案例将这部分数据剔除掉，不参与训练和测试。将数据集按照9：1的比例进行划分，并生成train.txt和val.txt进行训练import os#生成train.txt和val.txtxml_dir = '/home/aistudio/train-A/box'#标签文件地址img_dir = '/home/aistudio/train-A/image'#图像文件地址。

语义分割和目标检测是计算机视觉领域中的两个重要任务，它们各具特点和应用场景。语义分割能够提供像素级别的分类和边界信息，适用于对图像进行精细分割和分类；而目标检测则可以快速地检测到物体并对其进行跟踪和处理，适用于需要物体位置和形状信息的场景。在实际应用中，可以根据具体需求来选择合适的算法和技术。图片示例：下面是一些语义分割和目标检测的图片示例，以帮助理解它们的差异。

语义分割的目标是为图像中的每个像素分配一个语义标签，通常使用颜色或类别编号来表示不同的语义类别。例如，在一张街景图像中，语义分割可以将图像分割成道路、汽车、行人、建筑物等不同的语义区域。语义分割对于许多计算机视觉任务非常重要，例如自动驾驶中的场景理解、医学图像分析中的病变检测、智能视频监控中的目标跟踪等。通过准确地理解图像中的语义信息，可以为这些任务提供更丰富的场景理解和更精准的分析结果。

4.1 YOLOv8算法原理在探讨YOLOv8算法的原理时，我们首先需要理解YOLO（You Only Look Once）系列算法的核心理念，即在单次前向传播过程中同时进行目标的定位和分类。这种一步到位的检测方式使得YOLO算法在速度和效率上有着显著的优势。YOLOv8作为这一系列中的最新迭代，不仅继承了前代YOLO算法的这些优点，而且在结构设计和性能上都有了显著的改进，从而进一步提升了检测的准确性和速度。

KITTI[44, 45]数据集由德国卡尔斯鲁厄理工学院和芝加哥丰田技术研究所共 同发布，是当前自动驾驶领域中使用最广泛，具有权威性的数据集。该数据集包含市区、乡村和高速公路等场景采集的数据，可用于测评立体图像，视觉测距，光流，3D目标检测和3D目标跟踪等。在KITTI数据集的数据采集平台上，装配一个Velodyne 64线机械旋转式激光雷达，2个灰度摄像机，2个彩色摄像机，1个GPS导航系统和4个光学镜头。下图为传感器的配置平面图，为生成立体图像，相同类型的摄像头相距。