Deer计划（1）点云数据解析成图

最新推荐文章于 2023-04-04 15:42:30 发布
最新推荐文章于 2023-04-04 15:42:30 发布
阅读量3k 收藏 1
点赞数 1
分类专栏： 引擎开发 文章标签： c++ opencv json
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hacker_lli/article/details/121498874
版权

第一part 点云数据的解析成图

需要自行配置jsoncpp、OpenCV运行环境

1. 点云数据的解析成图模块设计

函数设计

测试环境

i5-9400f 16g (测试情况和实机性能有关)

线程解析（以法如的三维扫描仪生成的fls文件为基础）

1.多线程解析数据效率

项目c++耗时
解析一个fls20秒
解析3个fls25秒
解析6个fls37秒
解析7个fls46秒
解析9个fls57秒
解析15个fls96秒
解析20个fls134秒
解析40个fls266秒
解析-加载里程-解析空间(单文件)240秒
解析-加载里程-解析空间-成图(单文件)291秒
解析-加载里程-解析空间-成图(两个文件)291秒
解析-加载里程-解析空间-成图(5个文件)667秒
解析-加载里程-解析空间-成图(6个文件)727秒

2.单线程和解析

项目c++耗时
解析一个fls20秒
解析6个fls104秒
解析7个fls127秒
解析15个fls260秒
解析20个fls376秒
解析40个fls729秒

3.新环境重测 （i7-9700+16g+GTX1660Ti ）
请添加图片描述

单线程解析 此过程只是解析fls，并不包含成图
项目c++耗时2021年11月23日下午3点重测（占用内存）
解析一个fls10秒c++：16秒(243MB)
解析两个fls31秒c++：33秒(310MB)
解析三个fls47秒c++：49秒(288,6MB)
解析四个fls64秒c++：65秒(278MB)
解析五个fls80秒c++：84秒(311.4MB)
解析六个fls95秒–

2021年11月23日下午3点结果：
每个fls解析的平均时间：c++===》16.42秒

单线程成图

扫描仪生成一个FLS文件的时间是约30S
此测试过程包括解析fls—里程解析----空间解析处理----成图

项目c++第一版耗时（精度、占用内存）c++第二版优化耗时（精度、占用内存）
一个fls成图150秒（2mm、4G）26秒（2mm、3.9G）\ 26秒（5mm、3.8G）
两个fls成图303秒（2mm、4G）53（2mm、4.4G）\ 53秒（5mm、4.4G）
三个fls成图453秒（2mm、5G）79秒（2mm、5.0G） \ 78秒（5mm、4.9G）
四个fls成图602秒（2mm、6G）105秒（2mm、5.1G）\ 103秒（5mm、5.4G）
五个fls成图757秒（2mm、6G）131秒（2mm、6.1G）\ 128秒（5mm、6G）
六个fls成图911秒（2mm、7G）157秒（2mm、6.6G）\ 154秒（5mm、6.6G）

第一版是在i5处理器上进行的，之后我做了调整，就在i7处理器上运行了

第二版的测试情况
  • 2mm（成图的精度，不懂的自行查阅OpenCV）成图内存占用情况
    请添加图片描述
  • 2mm成图cpu占用情况
    请添加图片描述
  • 5mm成图内存占用情况
    请添加图片描述
  • 5mm成图cpu占用情况
    请添加图片描述
  1. c++第一版的运行过程中出现132秒长时间的占用4G内存的情况
  2. c++第二版的运行过程以梯度的形式占用内存，也就是上表中占用内存的记录只用1秒，之后又会逐渐减低。减少在磁盘的读写频率
多线程解析

多线程解析fls(当前环境同时开了10个线程解析fls效率出现严重低下，所以没有10个以上的多线程解析数据分析)

项目c++耗时（消耗内存）
解析两个fls10秒（453M）
解析三个fls22秒（743M）
解析四个fls25秒（911M）
解析五个fls29秒（1G）
解析六个fls32秒（1G）
解析七个fls37秒（2G）
解析八个fls39秒（3G）
解析九个fls43秒（3G）
多线程成图（成图过程和单线程一样）
项目c++耗时（消耗内存）c++第二版优化耗时（精度、占用内存）
两个fls成图216秒（5G）37.4秒（2mm、7.7G）\ 35秒（5mm、7.8G）
三个fls成图250秒（9G）45秒（2mm、11G）\ 46.1秒（5mm、11.6G）
四个fls成图320秒（13G）65秒（2mm、15.2G）\ 61秒（5mm、15.3G）
五个fls成图380秒（15G）–（2mm、19G）内存过载，本机暂时无法完成测试
六个fls成图470秒（18G）–
测试情况
  • 2mm成图多线程解析2个占用情况
    请添加图片描述
  • 2mm成图多线程解析3个占用情况
    请添加图片描述
  • 2mm成图多线程解析4个占用情况
    请添加图片描述
  • 2mm成图多线程解析5个占用情况
    请添加图片描述
  • 5mm成图多线程解析2个占用情况
    请添加图片描述
  • 5mm成图多线程解析3个占用情况
    请添加图片描述

4.图片质量
请添加图片描述
5.设计思路

  • 数据存储
    * 问题：数据的处理量达到了上千万级别，在程序运行一段时间之后，再次进行数据读入操作，会出现内存溢出的异常。
    * 原因：对较大的数据量的数组进行较为频繁的读入操作（数组大小为500M以上），在循环中创建了多个对象。
    * 解决：c++版本采用容器代替数组来承载数据，安全、防止爆栈
    * 对比起数组，vector是安全的（假设一个arraylist里现在只有给产品可以消费，但是有两个消费者线程请求消费，数组就会出现：可能出现一个产品被同时消费的问题，这与实际不相符。至于vector容器不会出现数组的问题，因为内部机制是同一时刻只能有一个线程对这个变量操作）
    * 防止爆栈，用于存储对象的数组存放在栈中，一般机器的栈大小是1~2M，vector存在堆中，对象是存在堆中，windows的堆空间，约2G。
    1. 指针大小：内存是由字节组成的，每个字节都有一个编号。指针变量主要是存放相同数据类型的变量的首地址。这里的这个地址其实就是内存的某个字节的编号。而这个编号的确定是与地址总线有关。如果地址总线是32位，则它的寻址范围是02^32（04G）。那么为一个字节的编址就会由32个0或者1组成。例如第一个字节的编址是32个0，最后一个的编址是32个1。一个字节有8位，32位则需要4个字节。
    2. 对象大小：组成（对象头8字节，指针4字节，数据存储区域（不定，int是4字节，char是2字节），对其补充（补充到整个大小为8字节的倍数）），存储int类型对象是16+x，存储char对象是14+x
    以上储存int对象的大小是指针的4倍以上。
    使用openCV生成当通道图，8byte（成对象的图像数据需要byte类型），byte对应的c++版本是unsinged int
    1MB = 1048576字节 = 32768个int对象（c++）
    2MB = 2097152字节 = 65536个int对象（c++）
    2G = 2048MB = 2147483648个字节 = 67108864个int对象
    单个fls解析出来的数据量是19492421个对象，无论是1M还是2M的栈空间都不够存放
    存放在堆空间的情况下，可解析的fls内容量可以是现在fls数据量的3倍
    3. 实际上c#版本，正常来说，已经出现爆栈的情况 得益于c#对内部分段计算优化，在C#中使用数组，可以获取在内存上连续的相同类型的一组变量，在连续访问时可以满足CPU访问寄存器的时间局部性和空间局部性，大大提高了对大量数据的访问效率
    当然你可以手动的去给栈分配更大的空间来防止这样的情况。

6.运行过程
请添加图片描述
7.源码地址 大家参考和共同学习 谢谢
https://gitee.com/lihenggeek/deer-project.git

亦心ll
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
点云数据（point cloud）
weixin_34186128的博客
12-03 1万+
一：什么是点云数据          点云数据是指在一个三维坐标系统中的一组向量的集合。这些向量通常以X,Y,Z三维坐标的形式表示，而且一般主要用来代表一个物体的外表面形状。不经如此，除（X,Y,Z）代表的几何位置信息之外，点云数据还可以表示一个点的RGB颜色，灰度值，深度，分割结果等。 Eg..Pi={Xi, Yi, Zi,…….}表示空间中的一个点， 则Point Cloud={P1, P2,...
点云图的学习
ff_xun的博客
12-28 1万+
一。点云地图拼接 1.1 配置运行环境 首先配置安装opencv3,安装完成后如下图： 然后配置点云图工具pcl,直接使用apt即可安装，安装后如下图： 最后使用点云工具观察点云图： 1.2 原理解析 总的来说由多角度拍摄图片拼接为点云3D图，是通过相机的内参，将像素坐标转化为相机坐标，再通过外参将相机坐标转化为世界坐标系，然后将每张图片的像素绘制填充于同一个世界坐标系下面，形成点云3D图。...
求离散数据的突变点_速看！点云数据处理技术流程全解析
weixin_39927408的博客
12-06 474
随着机载激光雷达技术的日益发展，其在测绘行业的应用越来越成熟，尤其在大比例地形图的应用中，具有无可替代的作用。本文将完整复盘点云数据处理技术流程，以高植被山区地区为例。什么是点云？点云是通过机载激光发射器接收的信号进行处理所获得的表达地表三维形态的、离散的、密度不均匀的数据点集，能够以较高的精度反映地表的真实情况，如地面高低起伏，地表物体反射特征、大小、高矮，物体之间的相对距离关系等。点云数据处理...
点云数据处理
Usper
05-26 6786
点云数据处理方法概论 ========================= http://www.p-chao.com/2017-06-11/%E7%82%B9%E4%BA%91%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E6%96%B9%E6%B3%95%E6%A6%82%E8%BF%B0/ 三维点云数据处理技术 ===================...
计算map代码_cartographer--2D代码解析(1)点云数据进入方式
weixin_28917337的博客
01-02 174
感谢各位对我的支持，之前抽风写的这边文章阅读人数超出了我的想想，现在开始实现承诺，发布几个开源slam代码的解析。 本人工作比较忙，回家要陪闺女玩，所以每天更新知乎的时间不多，我尽量保证一天一更。目的：1： 之前总结过，后来长时间不看就忘记了，留下文字记录。2： 在写解析的过程中，又学习了一遍，每次都有新的收获，最大的应该是代码结构。3：结交更多的朋友，深知只有交...
点云数据ply格式
02-06
点云数据是三维空间中离散点集合的一种表示方式，广泛应用于计算机视觉、机器人导航、三维重建等领域。PLY（Polygon File Format或Portable Legacy Format）是一种常见的点云数据存储格式，由斯坦福大学开发，用于...
train1_CIFAR数据集train1_
09-30
CIFAR数据集由Alex Krizhevsky、Vinod Nair和Geoffrey Hinton于2009年创建，它由10个类别的彩色图像组成，每个类别有6000张图片，其中5000张用于训练，1000张用于测试。这10个类别包括飞机、汽车、鸟类、猫、deer、...
CIFAR10数据集和处理后图片PNG格式下载
01-01
一共包含 10 个类别的 RGB 彩色图 片：飞机（ a叩lane ）、汽车（ automobile ）、鸟类（ bird ）、猫（ cat ）、鹿（ deer ）、狗（ dog ）、蛙类（ frog ）、马（ horse ）、船（ ship ）和卡车（ truck ）。图片...
DEER CRAC 14.1(1).apk
01-23
DEER CRAC 14.1(1).apk
鹿数据集VOC格式+yolo格式504张1类别.7z
最新发布
03-26
数据集格式：Pascal VOC格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：504 标注数量(xml文件个数)：504 标注数量(txt文件个数)：504 标注类别...
vc++三维点云数据的读取与显示
05-18
使用vc++读取三维数据，并且显示出来.
3d点云的显示和转换成深度图
07-03
简单的3d点云显示以及生成深度图，C++代码 ，用的pcl
点云图生成3D模型
05-16
通过点云图（灰度图）的灰度值来模拟三维模型到双目的距离大小，再根据原始二维图像赋RGB颜色值，最终获取一个3D模型
3D点云图像数据分类
11-13
这是2篇关于3D点云数据图像场景分类的比较新的文献资料，里面包含了纽约市立大学-亨特学院的一些研究方法与研究成果，希望对做这方面的朋友们有用！
点云数据转换成图像数据
04-04 2604
基于点坐标形成图像，就是先将点进行格网化，再对格网按照要求设置RGB，再进行可视化。 下面是对一点云进行可视化的案例： #include <iostream> #include <opencv2/core/core.hpp> #include<opencv2/highgui/highgui.hpp> using namespace std; #......
常见点云文件解析学习笔记
技术菜鸟的博客
12-23 3862
本文主要介绍了一些常见的点云文件的格式以及相关的3D处理开源算法库。目的主要是为了了解这些格式，加深对点云组成的理解，以及方便日后读取文件时进行查看。
ubuntu16.04下realsense+gflw+QT做的3d云点图
weixin_41330194的博客
05-14 1633
之前发表了一片文章是错误的，现在得及时纠正过来。QT版本是5.5glfw安装教程：https://blog.csdn.net/parry_liu/article/details/73801097realsense安装教程：https://blog.csdn.net/Sparta_117/article/details/77851876一下是官方的例子：.pro文件：INCLUDEPATH += /...
激光雷达点云数据处理
热门推荐
jyy8885的博客
12-12 2万+
步骤： 1. 通过rosbag录制激光雷达数据 2. 将rosbag转为pcd格式，一帧一个文件 3. 解析pcd文件数据   详细步骤 使用速腾16线激光雷达 cd到激光雷达程序目录，运行launch文件 rostopic list 查看topic信息，然后rosbag record /rslidar_points，会在对应目录下生成一个以时间命名的文件，里面记录 的激光雷达点...
01 点云详解
darren_pty
04-04 477
计算机视觉
pytorch加载图片数据集
05-15
在 PyTorch 中，可以使用 `torchvision` 库来加载常用的图像数据集，同时也提供了数据的预处理方法。 下面是一个加载 CIFAR-10 数据集的示例代码： ```python import torch import torchvision import torchvision.transforms as transforms # 定义数据预处理方式 transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) # 加载训练集 trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2) # 加载测试集 testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform) testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2) # 类别标签 classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck') ``` 在代码中， `transforms` 模块提供了一系列对数据进行预处理的方法，这里使用了 `ToTensor()` 将图像转换为张量，并使用 `Normalize()` 对数据进行归一化处理。 使用 `torchvision.datasets` 模块可以加载常用的数据集，如 CIFAR-10，ImageNet 等。 `DataLoader` 则提供了对数据进行批处理的功能，可以通过设置 `batch_size` 来指定每个批次的大小。 最后，我们可以通过 `classes` 变量来获取不同类别的标签信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值