c++ 利用内存映射读取大文件

最新推荐文章于 2021-02-05 15:13:48 发布

xiao囡囡

最新推荐文章于 2021-02-05 15:13:48 发布

阅读量8.2k

点赞数 2

分类专栏： c++ 文章标签：内存映射 getline 大文件

本文链接：https://blog.csdn.net/KUAILE123/article/details/11149751

版权

针对几十万行的txt文件，getline读取效率低下。文章探讨了使用内存映射作为优化读取速度的方案，但发现在处理行数据时速度并不理想。内存映射通过减少IO操作提升效率，尤其适用于大文件处理。虽然可以实现多个进程间的数据共享，但在按行处理时可能不如getline快速。

摘要由CSDN通过智能技术生成

由于用到的txt存放的数据有几十万行，用getline来读取文件非常慢，搜索了一下可以来优化读取文件的方法。

据说用内存映射读取文件速度快，试了一下，但是发现要分行处理数据时，速度还是挺慢的。

有关内存映射的介绍，参考别人博客。

http://blog.csdn.net/wcyoot/article/details/7363393

/
///创建镜像文件来读取文件，提高速度
///
void useMapFileReadText(){

		HANDLE hFile = NULL, hFileMap = NULL;
		char * lpbMapAddress = NULL;
		int nFileSize = 0, nLeftSize = 0;
		if(hFile == NULL)
		{
			hFile = CreateFile("data.txt", GENERIC_READ, 0, NULL,
				OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL);
			if(hFile == INVALID_HANDLE_VALUE)
			{
				printf("打开文件失败");
			}
		}
		if(hFileMap == NULL)
		{
			hFileMap=CreateFileMapping(hFile, NULL, PAGE_READONLY, 0, 0, NULL);
			if(hFileMap==NULL)
			{
				OutputDebugString(&#