通过文件读写和内存映射两种方式将点云输出为pcd格式文件

通过文件读写和内存映射两种方式将点云输出为pcd格式文件

一、两种方法将点云输出为pcd格式的速度比较

点云数量 I/O耗时(毫秒ms) mmap+memcpy耗时(毫秒ms)
1千(1000) 0.679 0.086
1万(10000) 2.489 0.869
10万(100000) 7.223 1.890
100万(1000000) 68.235 16.602

从不同数量级点云的测试结果中,可以看到内存映射+内存拷贝的方法更快。

造成速度差异的原因:

1.常规文件I/O:

​ 为了提高读写效率和保护磁盘,使用了页缓存机制,读文件时需要先将文件页从磁盘拷贝到页缓存中。由于页缓存处在内核空间,不能被用户进程直接寻址,所以还需将页缓存中的数据页再次拷贝到内存对应的用户空间中。要通过两次数据拷贝过程,才能完成进程对文件内容的获取任务。写操作也是一样,待写入的buffer在内核空间不能直接访问,必须要先拷贝至内核空间对应的主存,再写回磁盘中(延迟写回),也是需要两次数据拷贝。

2.内存映射加内存拷贝mmap+memcpy:

​ mmap内存映射时,首先创建新的虚拟内存区域,然后建立起文件磁盘地址和虚拟内存区域的映射,这两步中没有任何文件拷贝操作。之后访问数据时,发现内存中并无数据而发起的缺页异常过程,可以通过已经建立好的映射关系,只使用一次数据拷贝,从磁盘中将数据传入内存的用户空间中,供进程使用。

总而言之,常规文件操作需要从磁盘到页缓存再到用户主存的两次数据拷贝。 而mmap操控文件,实现了用户空间和内核空间的数据直接交互,用内存读写取代I/O读写,从磁盘到用户主存,只需要一次数据拷贝,对文件的读取操作跨过了页缓存,减少了一次数据拷贝,提高了文件操作效率

二、mmap简介

1.mmap相关概念

​ mmap()系统调用,在调用进程的虚拟地址空间中创建一个新内存映射。映射分为两种:

1.文件映射(内存映射文件)
将一个文件的一部分直接映射到调用进程的虚拟内存中。一旦一个文件被映射之后就可以通过在相应的内存区域中操作字节来访问文件内容了。映射的分页会在需要的时候从文件中自动加载。这种映射也被称为,基于文件的映射,或内存映射文件。

2.匿名映射
一个匿名映射没有对应的文件,相反,这种映射的分页会被初始化为0。可以把它看成是一个内容总是被初始化为0的虚拟文件映射。

​ 一个进程的映射中的内存,可以与其他进程中的映射共享,即各个进程的页表条目指向RAM中相同分页,这种行为会在以下两种情况下发生:

情况一:当两个进程映射了一个文件的同一个区域时,它们会共享物理内存的相同分页。
情况二:通过fork()创建的子进程会继承父进程的映射的副本,并且这些映射所引用的物理内存分页与父进程中相应映射所引用的分页相同。

​ 当两个或更多个进程共享相同分页时,每个进程都有可能会看到其他进程对分页内容做出的变更,当然这要取决于映射是私有的还是共享的。

1.私有映射(MAP_PRIVATE)
	在映射内容上发生的变更,对其他进程不可见。对于文件映射来讲,变更将不会在底层文件上进行,尽管一个私有映射的分页在上面介绍的情况中初始时是共享的,但对映射内容所做出的变更对各个进程来将则是私有的。内核使用了写时复制(copy-on-write)技术完成了这个任务。这意味着,每当一个进程试图修改一个分页的内容时,内核首先会为该进程创建一个新分页,并将需要修改的分页中的内容复制到新分页中,以及调整进程的页表。正因为这个原因,MAP_PRIVATE映射,也被称为私有写时复制映射。

2.共享映射(MAP_SHARED)
	在映射内容上发生变更,对所有共享同一个映射的其他进程都可见,对文件映射来讲,变更将会发生在底层的文件上。

​ 以上四种不同的方式(文件、匿名、私有、共享)可以组合实现如下效果:

1.私有文件映射(文件 + 私有)-> 进程初始化
	映射的内容被初始化为一个文件区域中的内容,多个映射同一个文件的进程初始时会共享同样的内存物理分页,但系统使用写时复制技术,使得一个进程对映射的修改对其他进程不可见。这种映射的主要用途是,使用一个文件的内容来初始化一块内存区域。比如,根据二进制可执行文件,或共享库文件的相应部分来初始化一个进程的文本和数据段。

2.私有匿名映射(匿名 + 私有)-> malloc大块内存
	每次调用mmap()创建一个私有匿名映射时都会产生一个新映射,该映射与同一(或不同)进程创建的其他匿名映射是不同的,即不会共享物理分页。尽管子进程会继承父进程的映
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Studying Cui

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值