研：mmap + memcpy　与传统　ofream读写对比

最新推荐文章于 2024-05-05 22:29:29 发布
最新推荐文章于 2024-05-05 22:29:29 发布
阅读量426 收藏
点赞数
分类专栏： c/c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hunter___/article/details/90669576
版权
这篇博客记录了一次性能测试，对比了使用mmap和memcpy与传统的ofstream在读写文件时的效率。测试涉及逐个字符读取、计算以及写回文件的操作，详细分析了不同方法在处理文件大小变化时的表现。
摘要由CSDN通过智能技术生成

结果记录：

 

操作：一个个字符读取之后进行计算，再写入文件。

size mmap ofream
 

 

 
849M

Now submit all the things, thanks!

real    1m37.248s
user    1m30.356s
sys    0m5.884s

Now submit all the things, thanks!

real    2m24.084s
user    2m16.468s
sys    0m5.492s
4.5g

4.5G May 29 13:53 test.data

Now submit all the things, thanks!

real    6m4.668s
user    5m46.820s
sys    0m13.100s

 
421M

Now submit all the things, thanks!

real    0m30.569s
user    0m29.128s
sys    0m0.980s

 

  
 1.1G

Now su
最低0.47元/天 解锁文章
nedwons
关注
专栏目录
使用mmap和memcpy编写文件复制程序
maryfei的博客
03-03 2584
开始没有区分好匿名内存和文件映射之间的区别，而出现了一些错误。/********************** > File Name: test_cp.c > Created Time: 2018年03月03日 星期六 09时55分29秒 ****************************/ #ifdef USE_MAP_ANON #define _BSD_S...
研：内存映射方式处理大数据(20G) mmap＋memcpy
hunter
05-26 1374
目的，快速读写20G数据，， 方法：mmap＋memcpy 状态：暂时放弃治疗 已搞定：　 bug: mmap＋memcpy, char 转int 又出问题了 研：mmap + memcpy　与传统　ofream读写对比 研：mmap 总结 乱到我都不想看，，，毕竟草稿本。 各位大佬， 我想用mmap+memcpy将A文件（超过6gb,都是字符） 每个字符变成一个in...
memcpy和mmap
weixin_34186950的博客
09-01 371
1: /* 2: author:justinzhang 3: email:uestczhangchao@gmail.com 4: time:2012-8-22 18:50:23: 5: desc: a buggy program from bbs.qshpan.com, i use strerror(errno) to locate 6: the proble...
c语言中几个常见的库函数strlen、strcmp、strcat、strcpy、strncpy、memset、memcpy、memmove、mmap
weixin_52626887的博客
08-30 405
1）计算给定字符串的长度，不包括’\0’在内{= s);//如果条件不满足，则终止程序= '\0')}
QNX 平台下 mmap 缓存与非缓存模式的 memcpy 性能分析
最新发布
Where there is life, there is hope.
05-05 1162
在嵌入式系统中，数据处理效率对系统性能至关重要。在 QNX 系统中，通过 `mmap` 函数将文件映射到内存后，可以选择启用或禁用缓存（Cache）。本文将对比在缓存（Cache）和非缓存（NoCache）情况下，使用 `memcpy` 和汇编版本 `asm_memcpy` 的数据传输速度，帮助开发者优化系统性能。
bug: mmap＋memcpy, char 转int 又出问题了
hunter
05-28 510
就没完成， char 到char 好搞， char 到int 好像不知道哪错了，沮丧，，， int off_r=0; int off_w=0; int m_size=0;//mmap size int page_now=0; filename_write="letter"; //fd_w = open(filename_write,O_RDWR|O_CREAT|O_T...
MIT 6.S081 实验Lab 10：mmap笔记与心得
cube__4的博客
06-14 1077
MIT 6.S081 实验Lab 10：mmap 笔记与心得
PMDK vs mmap/memcpy
帅的数说
05-29 705
PMDK进行创建文件时调用函数pmem_map_file，而这个函数底层调用mmap，那么这个PMDK和操作系统函数调用有何不同呢？ 内容 Libpmem的pmem_map_file()支持2M/1G（大页大小）对齐方式，这样能够减少页故障频率。另外，pmem_memcpy_nodrain()通过单指令、多数据指令（SIMD）、NT存储指令（MOVNT）拷贝数据。这样的话，通过libpmem的API函数比mmap()、memcpy()快。 Linux4.5及更高版本支持MAP_SYNC和MAP...
利用mmap实现文件拷贝
Silence神乐
11-24 4904
（写于November 14th, 2013）    今天根据老师的介绍试着使用mmap函数来实现拷贝文件，确实速度比read和write实现的要快很多。 首先介绍一下mmap函数：    mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。 该函数主要用途有三个：    1、将一个
mmap与直接IO（read、write）的效率比较
qq100440110的专栏
08-03 1万+
不能简单的说哪个效率高，要看具体实现与具体应用。 无论是通过mmap方式或read/write方式访问文件在内核中都必须经过两个缓存：一个是用address_space来组织的以页为基础的缓存；一个是以buffer来组织的缓存，但实际上这两个缓存只是同一个缓冲池里内容的不同组织方式。当需要从文件读写内容时，都经过 address_space_operation中提供的函数也就是说路径是一致的。如
通过mmap_device_memory将硬件地址映射程序中及通过memcpy将程序变量值赋给硬件地址
modi000的博客
02-22 1005
#define MAP_FAILED ((void *)-1) -----系统自带 #define REG_ADDR 0x80003000 ---人为定义的 1、将硬件地址映射到程序中 void* ptr = mmap_device_memory( 0, 0x1000, PROT_READ|PROT_WRITE|PROT_NOCACHE, 0, REG_ADDR ); if(ptr == MAP_FAILED) { print...
mmap函数用法及示例程序
热门推荐
nancygreen的专栏
06-21 1万+
UNIX网络编程第二卷进程间通信对mmap函数进行了说明。该函数主要用途有三个：1、将一个普通文件映射到内存中，通常在需要对文件进行频繁读写时使用，这样用内存读写取代I/O读写，以获得较高的性能；2、将特殊文件进行匿名内存映射，可以为关联进程提供共享内存空间；3、为无关联的进程提供共享内存空间，一般也是将一个普通文件映射到内存中。头文件：   #include
mmap 创建共享内存映射
challenglistic的博客
12-03 2166
mmap 创建共享内存映射
mmap内存映射
weixin_45205160的博客
09-26 2414
存储映射I/O (Memory-mapped I/O) 使一个磁盘文件与存储空间中的一个缓冲区相映射。于是当从缓冲区中取数据，就相当于读文件中的相应字节。于此类似，将数据存入缓冲区，则相应的字节就自动写入文件。这样，就可在不适用read和write函数的情况下，使用地址（指针）完成I/O操作。使用这种方法，首先应通知内核，将一个指定文件映射到存储区域中。这个映射工作可以通过mmap函数来实现。
Linux内存分页导致memcpy慢,Linux中mmap的物理内存在用户空间中的memcpy性能不佳
weixin_33933221的博客
05-03 840
在我的计算机上安装了192GB RAM,我在启动时由Linux内核保留了大于4GB(硬件地址为0x100000000)的188GB RAM(mem = 4G memmap = 188G $4G).数据采集​​内核模块使用DMA将数据累积到用作环形缓冲区的大区域中.用户空间应用程序mmap将此环形缓冲区放入用户空间,然后从当前位置的环形缓冲区复制块,以便在它们准备好后进行处理.使用memcpy从mm...
Linux进程间通信：mmap共享内存详解与示例
mmap（Memory Map）是Unix和类Unix系统中用于内存映射文件的系统调用，它允许进程直接与文件内容交互，而无需通过read和write等系统调用来进行数据传输。这种方式提高了I/O效率，尤其是在频繁读写或多个进程共享同一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值