qq_53545309的博客

视差图滤波能够将稀疏视差转变为稠密视差，并在一定程度上降低视差图噪声，改善视差图的视觉效果，但是比较依赖初始视差图的质量。的目标是获得左右两个相机的内参、外参和畸变系数，其中内参包括左右相机的fx，fy，cx，cy，外参包括左相机相对于右相机的旋转矩阵和平移向量，畸变系数包括径向畸变系数（k1， k2，k3）和切向畸变系数（p1，p2）以及其他一些畸变类型。：相比于昂贵的专业设备，便宜的双目摄像头可以显著降低成本，使得实时点云生成技术更加普及和经济实惠。提升速度，提高FPS。

Stereo Vision， 也叫双目立体视觉，它的研究可以帮助我们更好的理解人类的双眼是如何进行深度感知的。双目视觉在许多领域得到了应用，例如城市三维重建、3D模型构建(如kinect fusion)、视角合成、3D跟踪、机器人导航(自动驾驶)、人类运动捕捉(Microsoft Kinect)等等。双目测距也属于双目立体视觉的一个应用领域，双目测距的基本原理主要是三角测量原理，即通过视差来判定物体的远近。

本页提供有关MMDetection用法的基本教程。有关安装说明，请参阅。

毫无疑问，maskrcnn基准测试和mmdetection的存储效率比Detectron更高，主要优点是PyTorch本身。我们发现pytorch风格的ResNet通常比caffe风格的ResNet收敛慢，因此在1倍进度表中结果会略低，但2倍进度表的最终结果会更高。请注意，Caffe2和PyTorch具有不同的API，以通过不同的实现获取内存使用情况。我们使用AWS作为托管模型汇总的主要站点，并在阿里云上维护一面镜子。具有不同主干的更多模型将添加到模型汇总。显示的内存使用量都比上表中报告的数字大。

YOLOv5是目前应用广泛的目标检测算法之一，其主要结构分为两个部分：骨干网络和检测头。骨干网络采用的是CSPDarknet53，这是一种基于Darknet框架的改进版卷积神经网络。CSPDarknet53通过使用残差结构和跨层连接来提高网络的表达能力，并且采用了空洞空间金字塔池化（ASPP）来实现多尺度的信息提取。这样设计的骨干网络具有较强的特征提取能力，可以有效地提取出图像中的目标信息。检测头是YOLOv5的另一个关键组成部分，主要用于从骨干网络特征图中提取目标检测信息。

随机抽样一致性算法QRANSAC(Random sample consensus)是一种迭代的方法来从一系列包含有离异值的数据中计算数学模型参数的方法。RANSAC算法本质上由两步组成，不断进行循环:(1)从输入数据中随机选出能组成数学模型的最小数目的元素，使用这些元素计算出相应模型的参数。选出的这些元素数目是能决定模型参数的最少的。(2)检查所有数据中有哪些元素能符合第一步得到的模型。超过错误阈值的元素认为是离群值(outlier)小于错误阈值的元素认为是内部点( inlier)。

1、流程概述1）利用点云·滤波算法或者点云处理软件滤除异常点;2）将激光雷达点云倒置;3）设置模拟布料，设置布料网格分辨率GR，确定模拟粒子数。布料的位置设置在点云最高点以上;4）将布料模拟点和雷达点投影到水平面，为每个布料模拟点找到最相邻的激光点的高度值，将高度值设置为IHV;5)布料例子设置为可移动，布料粒子首先受到重力作用，当粒子高度CHV小于IHV时，将粒子高度设置为IHV;粒子设置为不可移动;

视差图滤波能够将稀疏视差转变为稠密视差，并在一定程度上降低视差图噪声，改善视差图的视觉效果，但是比较依赖初始视差图的质量。的目标是获得左右两个相机的内参、外参和畸变系数，其中内参包括左右相机的fx，fy，cx，cy，外参包括左相机相对于右相机的旋转矩阵和平移向量，畸变系数包括径向畸变系数（k1， k2，k3）和切向畸变系数（p1，p2）以及其他一些畸变类型。：相比于昂贵的专业设备，便宜的双目摄像头可以显著降低成本，使得实时点云生成技术更加普及和经济实惠。

ZED SDK 安装文件夹中有一个 Python 脚本（get_python_api.py），可以自动检测操作系统、CUDA 和 Python 版本并下载相应的预编译 Python API 包（pyzed）。安装SDK成功后，我们进入ZED SDK文件夹中的tools子文件夹，运行ZED Explorer.exe 以及 ZED Depth Viewer.exe，查看ZED相机是否能正常启用工作。在本例中，我们简单地检索ZED相机的序列号：打开 ZED相机，然后打印其序列号，然后关闭相机。

视频格式是ZED的专属格式，实际应用中我们需要将该格式转化成其他可读的文件格式。根据上述指示执行转换命令，官网也有详细的视频转化教程（在指定文件夹中生成32位景深图和左图。在指定文件夹中生成16位景深图和左图。双击打开ZED的视频转化执行文件。在指定文件夹中生成左右图。

②具体的标注文件中每一行表示一个目标，以空格进行区分，分别表示目标的类别id，归一化处理之后的中心点x坐标、y坐标、目标框的w和h。①“classes.txt”定义了你的 YOLO 标签所引用的类名列表。并设置标注文件保存的目录（上图中的Change Save Dir）这里，笔者将文件保存的目录设置到了图片目录，大家可以自己去设置。由于笔者是用PASCAL VOC格式，其最终保存为XML文件。以记事本打开，内容如下，有许多信息（的文件也保存到该文件夹​​中。什么是labelimg?打开后，自己设置一下。

文章目录1 简介1.1 数据采集平台1.2 坐标系2 数据解析2.1 image文件2.2 velodyne文件2.3 calib文件2.4 label文件3 KITTI可视化1 简介KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。

openpcdet训练自己的数据集

File "E:\All_in\单目合集\旋转框\yolov5_obb-master_旋转框_(yolov5_6.0改)\utils\loss.py", line 267, in build_targets。鼠标左键控制旋转框的宽高；必须修改roLabelImg.py开头的。查询docs目录下，install.md。将自己的图片数据放在data目录下。安装pyqt5-tools。中修改两处，采用全局搜索。--device改为空，选择所要标注图片路径。

大家可以按需选择版本进行下载，官网下载速度还是比较慢的，推荐大家使用进行下载按以下图示进行安装。

在ubuntu系统下配置自己的openpcdet环境，并且运行其中的pointpillar例子，查看损失函数

在Windows下安装cmake并且配置visualstudio，实现点云可视化

论文：github:在SMOKE算法之前，一般基于region_based的或者RPN结构，基于得到的，结合后序结构推理出3dbox。一般是多阶段的算法。SMOKE仅3d模块，基于key-point直接回归3d属性,基于解耦loss来训练。

SMOKEPrefaceLiu, Z C, Wu Z Z, Tóth R. Smoke: Single-stage monocular 3d object detection via keypoint estimation[C]. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020: 996-997. 来自SMOKE官方源码中的示例（特定参数）：

YOLOv8 是 ultralytics 公司在 2023 年 1月 10 号开源的 YOLOv5 的下一个重大更新版本，目前支持图像分类、物体检测和实例分割任务，在还没有开源时就收到了用户的广泛关注。考虑到 YOLOv8 的优异性能，MMYOLO 也在第一时间组织了复现，由于时间仓促，目前 MMYOLO 的 Dev 分支已经支持了 YOLOv8 的模型推理以及通过 projects/easydepoly 支持部署，我们将尽快发布可训练版本，敬请期待！

安装完成之后打开文件夹E:\PCL 1.11.1\3rdParty\OpenNI2双击 并选择路径 （E:\PCL 1.11.1\3rdParty\OpenNI2） 安装即可全部安装完成之后，将pcl-1.11.1-pdb-msvc2019-win64.zip解压后的 .pdb文件拷贝到（E:\PCL 1.11.1\bin）中设置环境变量：到此，环境变量配置完成。

这是因为双目摄像头的标定需要知道每个摄像头的内部参数（如相机矩阵、畸变系数）以及相机之间的外部参数（相对位置和朝向）。：通过将相机放置在不同位置或拍摄不同方向的图像，使用外参标定算法来估计相机的位置和朝向。一旦单目摄像头的内部参数、外部参数和畸变系数都已知，就可以进行双目标定，以确定双目摄像头之间的相对位置和朝向，以及立体视觉中的标定参数。：通过拍摄一个包含已知尺寸的标定板的图像，然后使用相机标定算法来估计相机内参，如焦距、主点坐标和畸变系数。：将内外参和畸变系数保存在标定文件中，以便后续的双目标定使用。

如果测试成功，可以加上-w参数，避免显示命令行窗口，更多其他参数请自行了解pyinstaller 相关用法。device = torch.device('cuda:0') # gpu版本，只使用gpu。device = torch.device('cpu') #cpu版本，只使用cpu。命令行，切换到这个目录，输入ui_yolov5.exe回车即可运行，并且可以看到报错。tips：如果双击后一闪而过，可能看不到报错信息，那么。，即可打开，后续教程无需观看。，故生成的文件夹名字为。

通常，在2D平面中，仿射变换的应用较多，而在3D平面中，透视变换又有了自己的一席之地。应用透视变换矩阵：利用计算得到的透视变换矩阵，对原始图像进行变换操作。通过在原始图像上的每个像素点应用透视变换矩阵，计算出对应的目标图像中的位置。确定变换前后的四个对应点：选择变换前图像中的四个关键点，分别对应变换后图像中的四个点。计算透视变换矩阵：通过选定的对应点，利用线性代数的方法计算出透视变换矩阵。可选的后处理：根据需要，可以对变换后的图像进行一些额外的后处理操作，比如插值、边缘平滑等，以获得更好的视觉效果。

代码目录如下图所示：、追踪相关代码：检测相关代码和权重调用 检测 和 追踪的代码：首先代码分为三个部分：YOLOv5完成了项目的检测部分，这里就不再展开 deep_sort.yaml：这个yaml文件主要是保存一些参数。（1）里面有特征提取权重的目录路径；（2）最大余弦距离，用于级联匹配，如果大于该阈值，则忽略。（3）检测结果置信度阈值（4）非极大抑制阈值，设置为1代表不进行抑制（5）最大IOU阈值（6）最大寿命，也就是经过MAX_AGE帧没有追踪到该物体，就将该轨迹变为删除态。（7）最高击中次数，如

本文首先将介绍在目标跟踪任务中常用的和，然后介绍经典算法的工作流程以及对相关源码进行解析。目前主流的目标跟踪算法都是基于策略，即基于目标检测的结果来进行目标跟踪。DeepSORT运用的就是这个策略，上面的视频是DeepSORT对人群进行跟踪的结果，每个bbox左上角的数字是用来标识某个人的唯一ID号。这里就有个问题，视频中不同时刻的同一个人，位置发生了变化，那么是如何关联上的呢？答案就是匈牙利算法和卡尔曼滤波。

单目视觉（monocular vision）在深度学习的应用非常广泛，它是计算机视觉和机器学习领域的热门研究方向之一。：单目深度估计是使用单个摄像头来推断场景中物体的深度信息。深度学习模型，如卷积神经网络（CNN）和递归神经网络（RNN），已经在这一领域取得了显著的进展。这些模型可以根据输入图像来预测每个像素的深度值，从而实现立体视觉的效果。：单目SLAM是指使用单个摄像头来同时定位相机的位置并构建场景的地图。深度学习可以用于改进SLAM中的视觉特征提取、运动估计和地图构建等关键步骤。