大数据处理---C++

最新推荐文章于 2024-06-25 08:35:44 发布

duhaomin

最新推荐文章于 2024-06-25 08:35:44 发布

阅读量5.2k

点赞数 1

分类专栏： C/C++ 大数据 windows 文章标签： C++ 大数据内存

本文链接：https://blog.csdn.net/lileiyang12/article/details/19172779

版权

面对一个无法一次性加载到内存的大文件，如1TB大小，包含单个数字的每一行，本文探讨如何使用C++有效地统计文件中数字1的数量。通过高效的数据处理方法，即使在有限的内存条件下，也能实现大数据的分析。

摘要由CSDN通过智能技术生成

一个大文件，肯定是内存无法全部读取的，比如1TB，里边很多字段，假设是这样的：

这样一行一个数字，简单点，不统计每个数字的频率了，仅仅统计有多少个1，如何做呢？

FILE * p = fopen("test.dat","r");
__int64 len=0;
char a[2]={0};
for(int i = 0 ;; i ++)
{
	fread(a,2,1,p);
	if(a[0]!='1')
		break;
	len =i*1024;
}
printf("%s  %d\n",a,len);
fclose(p);
p = NULL;

之前以为fopen是将文件全部加载进内存后再操作，实践之后发现不是这样，它可以一点点向后读取，但是要是太大，直接就seek到文件结尾，还是会异常、崩溃，这时候使用虚拟内存映射来处理：

#include <stdio.h>
#include <Windows.h>
void createBigFile(int NumberGB=0)
{
	FILE * p = fopen("d:\\test.dat","w+");
	for(int i = 0 ; i < NumberGB ; i ++)
	{
		fwrite("1\n",2,1,p);
	}
	fclose(p);
	p = NULL;
}
voi