- 掌握各个传感器的结构及工作原理；
- 掌握各个传感器的装调方法和注意事项。
智能车辆环境感知台架、量角尺、水平测量仪、卷尺等，其中智能车辆环境感知台架又由设备台架、激光雷达、工控机、单目相机、毫米波雷达、360环视摄像头、组合导航、4G无线路由、超声波雷达组成。
毫米波雷达是工作在毫米波波段探测的雷达。通常毫米波是指30～300GHz频域（波长为1～10mm）的电磁波。其工作原理主要是通过发送毫米波信号，这些信号会从目标物体上反射回来，然后通过接收器接收反射回来的信号。通过测量信号的传播时间，可以计算出目标物体的距离。前向毫米波雷达主要起到观测车辆正前方 100 米障碍物信息，包括相对距离、相对速度和方位。
激光雷达（Lidar）是一种集激光、全球定位系统（GPS）和惯性测量装置（IMU）于一体的传感器。其工作原理是通过向目标发射激光，然后接收目标反射回来的信号，测量反射光的运行时间，从而确定目标的距离、方位、高度、速度等参数。激光雷达主要起到观测车辆周围障碍物信息，同时激光雷达也可以进行 SLAM 建图，与组合导航融合定位。
超声波雷达是通过发送超声波信号，然后接收目标物体反射回来的信号，通过测量信号的传播时间来计算出距离的一种传感器。其工作原理是通过超声波发射装置向外发出超声波，到通过接收器接收到发送过来超声波时的时间差来测算距离。在汽车上的应用为泊车辅助、盲点检测和安全预警。本次实验用到了8个超声波雷达。分别安装在汽车的前部、后部及侧面。
单目摄像头主要起到基于神经网络深度学习的障碍物识别功能。其成像原理为：被检物品反射光线，经过工业镜头折射在感光传感器上产生模拟的电流信号，此信号经过模数转换器转换至数字信号，然后传递给图像处理器，得到图像，然后通过工业相机通信接口，传入计算机中，以方便后续图像处理分析
360全景相机是一种能够拍摄360度全方位照片的相机。其工作原理是通过特殊的镜头设计和图像处理算法，将周围环境的全景图像捕获到相机中，并生成一个完整的球形或柱形图像。360全景相机通常由多个鱼眼镜头和多组传感器组成，可以同时拍摄多张不同角度的照片。通过后期处理，这些照片可以拼接成一张完整的全景图像。
实验2. 传感器标定
- 掌握摄像头内参标定的基本原理和方法；
- 掌握摄像头、激光雷达外参标定和联合标定的基本流程。
智能车辆环境感知台架、量角尺、直尺和卷尺等。
（1）在相机成像过程中，一共涉及 世界坐标系 、 相机坐标系 、 图像坐标系 和 像素坐标系 4个坐标系。
（2）相机成像过程可以理解为坐标系间 刚体变换 、 透视投影 和 仿射变换 三次变换。
（3）一般来说，相机标定方法有 传统相机标定法 、主动视觉相机标定法、 相机自标定法 以及 零失真相机标定法 4种。
（4）激光雷达与车体为 刚性连接 ，因此激光雷达到车体坐标的相对姿态和位移 固定不变 。
运行不同标定程序，对传感器进行标定，输出标定结果并对结果进行分析。填写在下表中。
表3.1 实验结果和分析表
| 序号 | 传感器 | 标定结果 |
| 1 | 相机标定 |  |
| 2 | 激光雷达标定 |  |
| 3 | 激光雷达和摄像头联合表标定 |  |
| 4 | 结果分析与思考 | （1）在相机内参标定的实验结果中，“image”代表图像，标定结果中显示图像的宽度×高度为1280×720。“narrow_stereo”指的是一个窄视场的立体相机模型。其主要应用于特定的应用场景，如近距离的目标检测或者物体识别等。“camera matrix”表示相机的内参矩阵，包括焦距、主点坐标、径向畸变系数、切向畸变系数等参数。分析这些参数的取值是否合理，可以评估标定结果的可靠性。“distortion”表示相机的畸变矩阵，畸变是相机成像过程中常见的现象，主要是由于镜头制造误差、安装误差等原因引起的。“rectification”主要用于畸变的修正。“projection”则描述了从三维世界坐标系到二维图像平面的映射过程。 （2）在激光雷达外参标定的实验中，要决定激光雷达和车体坐标系的转换关系。依次测量激光雷达、毫米波、摄像头到车轮中心的距离，并将测量结果填写到界面中，检测标定工具与车体两后轮中心位置是否与实际相符，如果相符则标定成功；若有误差，可以采取相应的措施来改进，例如，提高标定板的制作精度、选择更多具有代表性的标定场景、优化图像与激光数据的匹配算法以及持续改进标定算法等。 （3）从激光雷达和摄像头联合标定的实验中，可以得到激光雷达和相机的外参数转换关系，从而为激光雷达点云和图像的数据融合作准备。从标定结果的图片来看，标定结果能够较好地反映了物体的实际情况，每条线段能够较好地与棋盘格的线段相重合，但仍然会存在着一些误差导致二者的线段无法重合，我认为主要是由激光雷达的精度、相机的内参以及目标对象的一些问题（例如标定板精度不高，标定板过远或过近，标定板倾斜或歪曲等）导致的。 |
1、在实际应用中，如何处理相机标定中的误差和不确定性，以提高图像处理系统的可靠性和鲁棒性？
- 重复标定：通过多次标定并取平均值，从而减小标定误差。这种方法适用于标定环境较为稳定的情况。
- 多视角标定：通过从多个不同的视角拍摄标定板，并采用相应的算法进行标定，可以减小单视角标定的误差。
- 多种标定方法结合：可以采用多种标定方法，并比较它们的标定结果，以找出最佳的标定参数。可以减小单一标定方法的误差。
- 动态标定：对于移动的相机或物体，可以采用动态标定方法，即在连续的运动过程中进行标定。可以减小由于相机或物体位置变化引起的误差。
- 鲁棒性算法：在图像处理算法中，可以采用鲁棒性算法，例如滤波、平滑、边缘检测等，以减小图像中的噪声和异常值对标定的影响。
- 深度学习技术：可以采用深度学习技术进行相机标定，例如使用卷积神经网络（CNN）对相机参数进行自动调整和优化。这种方法可以减小由于传统标定方法引起的误差。
实验3. 单目相机目标检测
- 掌握基于视觉的目标检测模型基本原理；
- 掌握面向特定目标的检测模型训练的基本流程；
- 了解检测模型参数的修改方法和对模型检测精度的影响。
智能车辆环境感知台架
（1）自动驾驶汽车在行驶过程中正确检测、识别行人和车辆目标，并跟踪、预测他们的运动轨迹，是车辆做出恰当的 让行、换道超车 等动作的前提和必要条件。
（2）车载高清摄像头实时获取车辆周围环境的图像，图像数据经过预处理后输入到目标检测模型 中，目标检测模型最终输出目标的类别 和 位置。
（3）目前常用的目标检测模型有： Faster R-CNN 、 SSD 和 YOLO 等。
（1）绘制并记录设置不同深度学习模型超参数（数据集大小、迭代次数、学习率等）时，模型的训练误差和精度曲线，不够可以加行。表1填写检测目标，表2填写模型训练结果。
表2.1 实验项目表
| 检测目标 | 示例图片 |
| 水杯（cup） |  |
表2.2 实验结果分析表1
| 序号 | 模型超参数 | 训练误差曲线 |
| 1 | 学习率 (Learning Rate） 动量（Momentum） 批次大小 （Batch Size） 迭代次数（Epochs） 损失函数 (Loss Functions） [定位损失(box_loss) 置信度损失(obj_loss) 分类损失(cls_loss)] |  |
| 结果分析 | 在训练误差曲线中，前缀为“train/*”的曲线为训练集训练结果，前缀为“val/*”的曲线为验证集的训练结果。定位损失（box_loss）、置信度损失（obj_loss）和分类损失（cls_loss）是常见的损失函数组成部分。这些损失函数用于优化模型的参数，以最小化预测结果与实际标签之间的差异。box_loss 表示定位损失，用于优化模型预测的边界框（bounding box）位置；obj_loss 表示置信度损失，即计算网络的置信度，优化模型对目标存在与否的置信度判断；cls_loss表示分类损失，用于优化模型对目标类别的预测；精确率（precision）的含义为模型正确识别的有目标判例占模型所有认为有目标的判例的比例；召回率（recall）的含义为模型正确识别的有目标判例占所有正确判例的比例；mAP 是指平均准确率，物体检测中，每一个类别都可以根据 recall 和 12precision 绘制一条曲线，AP 就是该曲线下的面积，mAP 是多个类别 AP 的平均值；mAP_0.5 指的是当损失函数 IoU 取 0.5 时的 mAP；mAP_0.5:0.95 指的是当 IoU分别取 0.5~0.95时mAP的平均值。可根据训练结果来进一步调整模型的参数，例如，学习率是用于更新模型权重的参数，它决定了模型在训练过程中的收敛速度；批次大小是指每次训练迭代时使用的样本数量，选择合适的批次大小可以提高训练效率和模型的稳定性；一个迭代次数表示模型已经看过整个训练集一次，选择合适的迭代次数可以确保模型充分训练。通过反复的训练和参数调整，最后得到最优的神经网络模型。 | |
表2.3 实验结果分析表2
| 序号 | 检测目标 | 训练及检测结果 |
| 1 | 水杯（cup） |  |
| 结果分析 | 从图中可以看出，训练模型能够较好地检测出目标对象的类别，但是检测目标的概率较低，同时也存在着一些问题：容易误把其他对象识别为杯子，水杯距离相机过远或过近时无法被识别以及用手把杯子拿起来后才可以识别出杯子。以上问题，都可以根据训练结果，调整模型的超参数来提高模型检测的性能。 调整模型的超参数后（例如，将学习率lr0由0.01改为0.001时），得到的训练结果如下所示：
相应的训练误差曲线为：
由上述两次结果对比可以看出，调整超参数后会对目标检测模型训练和预测产生一定的影响，会使得检测目标的性能变好或变差。因此，选择合适的模型超参数对于目标检测识别性能至关重要。 | |
1. 简述超参数对基于深度学习算法的目标检测模型训练和预测的影响？
- 学习率（Learning Rate）：学习率决定了模型权重更新的步长。较高的学习率可能导致模型训练不稳定，而较低的学习率可能导致训练速度缓慢。
- 动量（Momentum）：动量是一个加速模型收敛并提高训练稳定性的参数。它通过计算梯度的指数加权平均来更新权重，有助于加速收敛并提高模型在局部最小值的跳出能力。选择适当的动量可以提高训练效率和稳定性。
- 批次大小（Batch Size）：批次大小决定了每次迭代中用于训练的数据样本数。较大的批次大小可以加速训练，但可能会增加内存负担和减小梯度更新的稳定性。适当的批次大小可以提高训练效率和稳定性。
- 迭代次数（Epochs）：迭代次数是指整个训练集通过模型的次数。较少的迭代次数可能导致模型未充分训练，而较多的迭代次数可能增加过拟合的风险。
- 损失函数（Loss Function）：损失函数用于量化模型预测与实际标签之间的差异。不同的损失函数适用于不同的任务和数据类型。
- 正则化参数（Regularization Parameters）：正则化参数用于防止模型过拟合。正则化参数的取值会影响模型的复杂度和泛化能力。过大的正则化参数可能会导致模型欠拟合，而较小的正则化参数可能无法有效抑制过拟合。
- 优化器（Optimizers）：不同的优化器适用于不同的场景和任务。选择合适的优化器可以加速收敛并提高模型的性能。
实验4. 激光雷达障目标检测
1.实验目的
（1）理解激光雷达障碍物检测的基本原理；
（2）掌握激光雷达点云欧式聚类和目标实例分割训练和检测的基本流程。
智能车辆环境感知台架
（1）自动驾驶汽车在行驶过程中正确检测、识别行人和车辆目标，并跟踪、预测他们的运动轨迹，是车辆做出恰当的 让行、换道超车 等动作的前提和必要条件。
（2）车载激光雷达实时获取车辆周围环境的3D点云数据，3D点云数据经过预处理后进行两种 降采样和地面去除并进行特征融合，最终输出目标的 类别 和 位置 。
（3）目前常用的目标检测算法有： 基于视觉的目标检测模型 、基于3D点云的目标实例分割模型等。
（1）在某一场景下实现激光雷达点云目标检测中各个流程，并保存结果图像。
表4.1 实验结果分析表
| 序号 | 检测过程 | 测试结果图像 |
| 1 | 降采样 |  |
| 2 | 去除地面 |  |
| 3 | 点云欧式聚类 |  |
| 4 | 激光雷达点云标定 |  |
| 5 | 点云目标检测 |  |
| 分析及结论 | 由上述实验的五个操作步骤分析可得，获取点云数据后，对点云进行预处理，包括降采样、地面去除和点云聚类，目的都是实现 3D 点云数据的精简，提高数据处理速度，减少后续计算量。分别将体素边长设为0.1，距离阈值设为0.1，最大点间距设为0.09，聚类最小点数为1。接着进行目标感知训练，对获取到的点云数据进行标注，用“Bounding Box”框选目标，对模型进行训练。在训练完成后进行点云目标检测，得到目标检测结果。如上图所示，蓝色立方体表示行人。 实验结论：激光雷达障碍目标检测方法具有高精度、高可靠性等优点。通过处理点云数据，可以有效识别障碍物；同时也存在一些局限性，对于动态物体以及某些特定类型的障碍物的检测可能存在困难，如本次实验中误把立柱识别为行人。可研究更先进的算法和技术对其进行改进，以提高其检测能力。 | |
1. 简述基于激光雷达的欧式聚类算法和实例分割算法有什么异同？
不同点：欧式聚类算法主要通过计算点云数据之间的距离，将距离相近的点归为一类，并进行分类和识别。这种算法简单直观，适用于目标分类和场景理解，但对于遮挡和复杂场景下的目标检测效果不佳；而实例分割算法不仅对目标进行分类，还对同一类别的不同实例进行区分和分割，通常使用深度学习技术进行精细化分类。这种算法可以精细区分不同实例，适用于遮挡和复杂场景下的目标检测，但计算复杂度较高，需要更多的训练数据和计算资源。
相同点：两者都是基于点云数据的处理方法，用于实现目标检测和识别。
实验5. 传感器融合目标检测
- 掌握摄像头和激光雷达融合的基本原理；
- 掌握毫米波雷达和激光雷达融合的基本原理；
- 掌握摄像头、毫米波雷达和激光雷达融合的基本原理。
智能车辆环境感知台架
（1）目前三维目标检测领域常用的融合数据有 图像 和 点云 ，融合时机可分为早期、中期和晚期融合。本实验中使用的融合方法是 晚期 融合，图像采用 YOLO目标检测模型 对周围物体进行检测，并获取目标在图像中的位置。点云采用 欧式聚类方法对点云进行无监目标分割，在此基础上将点云向图像中映射并融合，最终获取 目标的类别其相对于车辆的 三维相对位置。
（2）毫米波和激光雷达的融合方法是通过 传感器标定 后，获取毫米波雷达检测的目标 位置 信息和 速度 信息，提取激光雷达输出的目标位置信息。
（3）摄像头、激光雷达和毫米波雷达融合方法就是在摄像头、激光雷达和毫米波雷达的传感器标定完成后，首先将 摄像头图像和 激光雷达点云融合，输出点云目标的 类别 和 目标的位置 ；然后通过提取毫米波雷达输出的 目标位置 和 速度 ，与点云目标和位置融合，最终输出车辆周围环境目标的 类别 、 位置 和 速度 。
表5.1 实验结果分析表1
| 序号 | 实验 | 测试结果图像 |
| 1 | 视觉目标检测 |   |
| 2 | 点云降采样 |  |
 | ||
| 3 | 雷视融合 |  |
| 分析及结论 | 在摄像头和激光雷达融合实验中，首先将视觉传感器采集到的图片转化为原始点云数据，随后对点云进行降采样，可分为“体素降采样”和“随机降采样”两种方法，降采样的目的是减少数据量，从而降低数据处理的复杂度，同时减少噪声和冗余信息的影响，进一步提高计算效率。然后从雷达和摄像头数据中提取特征，例如从雷达点云数据中提取障碍物的形状、大小、位置等信息，从摄像头图像中提取颜色、纹理、边缘等特征。将雷达和摄像头数据融合在一起，可以使用特征融合或数据级融合等方法。对融合后的数据进行目标检测和识别，最终显示雷达和视觉融合检测的结果。图中的点云代表激光雷达点云映射到图片上的结果，边界框以及对象名称和概率则是视觉传感器的检测结果。 由实验结果，我们可以看出雷达和视觉融合检测相较于单一传感器来说，获取的数据量更丰富（例如目标对象的大小、形状、位置、类别概率等信息），检测精度更高，有较好的实时性，鲁棒性更好。 | |
4.2 在某一场景下实现基于多模态数据融合的目标检测中各个流程，并保存结果图像。
表5.2 实验结果分析表2
| 序号 | 实验 | 测试结果图像 |
| 1 | 摄像头、毫米波雷达和激光雷达融合结果 |  |
| 分析及结论 | 在激光雷达、摄像头和毫米波雷达融合检测的实验中，首先对激光雷达、摄像头和毫米波雷达收集到的原始数据进行预处理，随后从每种传感器数据中提取有意义的特征。例如，从激光雷达数据中提取障碍物的形状、大小和位置信息，从摄像头图像中提取颜色、纹理等视觉特征，以及从毫米波雷达数据中提取物体的运动速度和距离信息。将不同传感器提取的特征进行关联和配准，将这些数据进行融合，包括数据级融合、特征级融合和决策级融合，最后利用融合后的数据进行目标检测和跟踪。如上图所示，其中白字为类别及其概率，黄色为点云数据，黑色数据分别表示检测物体的距离和速度。 实验结论：多传感器融合可以提高数据准确性和精度、增强数据可靠性和稳定性、拓展数据获取范围和维度、优化系统运行效率和性能、降低信息获取成本、提高容错性和鲁棒性、增强信息处理能力、提高信息处理低成本性、增强信息冗余性、增强信息互补性以及增强系统安全性等。 | |
1. 请讨论如何在实际应用中权衡不同的感知策略，以满足不同的性能要求
- 了解需求和场景：在选择感知策略之前，首先要明确应用场景和性能要求。了解应用场景中的关键因素，例如目标类型、环境条件、传感器配置等，有助于选择合适的感知策略。同时，考虑性能要求，例如精度、实时性、鲁棒性等，以确定感知策略的优先级。
- 比较不同策略的优缺点：在明确了需求和场景后，需要比较不同感知策略的优缺点。了解各种策略的基本原理、适用范围和限制，以及它们在不同场景下的表现。权衡不同策略在精度、实时性、鲁棒性等方面的性能，选择最适合您的应用需求的策略。
- 考虑计算资源和成本：不同的感知策略可能需要不同的计算资源和成本。在选择感知策略时，需要考虑可用的计算资源，如处理器速度、内存和存储空间等。此外，还需要考虑实现感知策略的成本，包括硬件、软件和人力成本。根据实际需求和预算限制，选择合适的感知策略。
- 实验和验证：在选择感知策略后，进行实验和验证是必要的步骤。通过实验测试所选策略的性能，并对其进行调整和优化。使用测试数据集来评估感知策略在不同场景下的表现，并根据实验结果进行必要的改进。同时，注意确保实验的公正性和可重复性。
- 持续优化和改进：在实际应用中，持续优化和改进感知策略是必要的。由于环境条件和目标类型可能发生变化，需要不断调整和改进感知策略以保持其性能。利用实际应用中的反馈数据进行迭代优化，提高感知策略的精度、实时性和鲁棒性。
2052
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
