C语言如何复制大文件,为什么在C中复制文件比C快得多?

我已经在一个相当大的C项目上工作了几个星期了.我最初的目标是使用这个项目来了解C11,只使用纯C代码,并避免手工分配和C结构.不过,我觉得这个问题会迫使我用C来做一个小功能,我想知道为什么.

基本上我有一个保存功能,将一个较大的二进制文件复制到一个单独的位置,然后我更改其中的数据.这些文件本身是最大大小为700MB的CD图像.这是我使用的原始C代码:

std::ios::sync_with_stdio(false);

std::ifstream in(infile,std::ios::binary);

std::ofstream out(outfile,std::ios::binary);

std::copy(std::istreambuf_iterator(in),std::istreambuf_iterator(),std::ostreambuf_iterator(out));

out.close();

in.close();

当与690MB文件一起使用时,此代码几乎不足4分钟才能完成.我已经运行了多个文件,它总是相同的结果; 3分钟以内没有.但是,我也发现以下方法运行得更快一些,但仍然没有C:

std::ios::sync_with_stdio(false);

std::ifstream in(infile,std::ios::binary);

out << in.rdbuf();

out.close();

in.close();

这一次花了24秒,但仍比C慢20倍.

在环顾四周后,我发现有人需要写一个80GB的文件,看到他可以使用C全速写入文件.我决定尝试一下这个代码:

FILE *in = fopen(infile,"rb");

FILE *out = fopen(outfile,"wb");

char buf[1024];

int read = 0;

// Read data in 1kb chunks and write to output file

while ((read = fread(buf,1,1024,in)) == 1024)

{

fwrite(buf,out);

}

// If there is any data left over write it out

fwrite(buf,read,out);

fclose(out);

fclose(in);

结果非常令人震惊.以下是在许多不同文件上运行多次的基准测试之一:

File Size: 565,371,408 bytes

C : 1.539s | 350.345 MB/s

C++: 24.754s | 21.7815 MB/s - out << in.rdbuf()

C++: 220.555s | 2.44465 MB/s - std::copy()

这个巨大差异的原因是什么?我知道C不符合普通C的性能,但是348MB / s的差异是巨大的.有没有我失踪的东西?

编辑:

我在Windows 8.1 64位操作系统上使用Visual Studio 2013进行编译.

编辑2:

阅读约翰·兹温克的答案后,我决定走平台特定的路线.由于我仍然想让我的项目跨平台,我把一个快速的例子.我真的不知道这些在Windows之外的其他系统是否工作,但我可以在以后测试Linux.我不能测试OSX,但我认为copyfile看起来像一个简单的功能,所以我认为它是正确的.

请记住,您需要使用相同的#ifdef逻辑来包含平台特定的头.

void copy(std::string infile,std::string outfile)

{

#ifdef _WIN32 || _WIN64

// Windows

CopyFileA(infile.c_str(),outfile.c_str(),false);

#elif __APPLE__

// OSX

copyfile(infile.c_str(),NULL,COPYFILE_DATA);

#elif __linux

// Linux

struct stat stat_buf;

int in_fd,out_fd;

offset_t offset = 0;

in_fd = open(infile.c_str(),O_RDONLY);

fstat(in_fd,&stat_buf);

out_fd = open(outfile.c_str(),O_WRONLY | O_CREAT,stat_buf.st_mode);

sendfile(out_fd,in_fd,&offset,stat_buf.st_size);

close(out_fd);

close(in_fd);

#endif

}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值