大文件拷贝

已于 2023-02-22 14:13:23 修改
阅读量195 收藏 2
点赞数
分类专栏： C语言 文章标签： c++ c语言 开发语言
于 2023-02-21 23:59:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoyaolangwj/article/details/129131180
版权

准备一个几百兆的稍大点的文件。比如视频文件。我这里是298MB的一个文件：

按照逐字节拷贝

注意对非文本文档读写，要带‘b’，此外，对于非文本文档结尾的判断应使用feof()函数，而非eof。

#define _CRT_SECURE_NO_WARNINGS
#include <stdio.h>

int main(int argc, char* argv[])
{
	unsigned int start_time = time(NULL);
	FILE* fpr = fopen("F:/Practice/1.mp4", "rb");
	FILE* fpw = fopen("F:/Practice/2.mp4", "wb");
	if (!fpr || !fpw)
	{
		printf("操作文件操作。");
		return -2;
	}
	char ch;
	while (!feof(fpr))
	{
		ch = fgetc(fpr);
		fputc(ch, fpw);
	}
	fclose(fpr);
	fclose(fpw);
	unsigned int end_time = time(NULL);
	printf("运行时间：%d(s)\n", end_time - start_time);  // 48秒
	
	getchar();
	return 0;
}

 结果发现大小多了个字符。用时48秒。

按照逐行拷贝。

#define _CRT_SECURE_NO_WARNINGS
#include <stdio.h>
#include <stdlib.h>

int main(int argc, char* argv[])
{
	unsigned int start_time = time(NULL);
	FILE* fpr = fopen("F:/Practice/1.mp4", "rb");
	FILE* fpw = fopen("F:/Practice/3.mpr", "wb");
	if (!fpr || !fpw)
	{
		printf("打开文件错误。\n");
		return -1;
	}
	char ch[1024];
	while (!feof(fpr))
	{
		// 未防止最后不足1024而污染最后一个1024.所以需要将其重置。
		memset(ch, 0, 1024);
		fgets(ch, 1024, fpr);
		fputs(ch, fpw);
	}

	fclose(fpr);
	fclose(fpw);
	unsigned int end_time = time(NULL);
	printf("运行时间：%d(s)\n", end_time - start_time);

	getchar();
	return 0;
}

运行时间：7s。速度提升了7倍。

然后看大小。

 文件大小少了一半，无法打开观看。

按照逐块拷贝

#define _CRT_SECURE_NO_WARNINGS
#include <stdio.h>
//#include <stdlib.h>


int main(int argc, char* argv[])
{
	unsigned int start_time = time(NULL);
	FILE* fpr = fopen("F:/Practice/1.mp4", "rb");
	FILE* fpw = fopen("F:/Practice/4.mp4", "wb");
	if (!fpr || !fpw)
	{
		printf("文件打开失败。\n");
		return -1;
	}
	char ch[1024];
	while (!feof(fpr))
	{
		memset(ch, 0, 1024);
		fread(ch, 1024, 1, fpr);
		fwrite(ch, 1024, 1, fpw);
	}

	fclose(fpr);
	fclose(fpw);
	unsigned int end_time = time(NULL);
	printf("运行时间：%d(s)\n", end_time - start_time);

	getchar();
	return -1;
}

程序运行时间1s。速度提升了四十多倍。 

但是文件与源文件大小并不一致。312966144字节。 = 305631 * 1024。也就是说是1024的整数倍。

 为什么如此呢？

因为最后一个1024，源内容没有填满，最后1024也填满了0，将0写入了新文件中。所以大了小于1024个字节。

解决方案：

 我们来看一下读取函数：第二个参数为：块大小。第三个参数为块数。

重点是返回值：

  • 如果读取成功：返回实际读成功的块数。如果这个值小于nmemb这个设定块数。则说明读到了结尾。
  • 失败：返回0，没读到东西。

 基于此改进方案：读取的时候：size设置为1；块数设置为1024。返回值如果小于1024，则终止程序，并在写入是，写入读取到的个数，而不是原来的1024个。

#define _CRT_SECURE_NO_WARNINGS
#include <stdio.h>


int main(int argc, char* argv[])
{

	unsigned int start_time = time(NULL);
	FILE* fpr = fopen("F:/Practice/1.mp4", "rb");
	FILE* fpw = fopen("F:/Practice/5.mp4", "wb");

	if (!fpr || !fpw)
	{
		printf("打开文件出错.");
		return -1;
	}

	char ch[1024];
	int rNum = 0;
	while (!feof(fpr))
	{
		memset(ch, 0, 1024);
		rNum = fread(ch, 1, 1024, fpr);
		if (rNum == 1024)  // 这个可以优化掉。
		{
			fwrite(ch, 1, rNum, fpw);
		}
		else// 多余可以优化。
		{
			fwrite(ch, 1, rNum, fpw);
			break;
		}
	}
	fclose(fpr);
	fclose(fpw);
	unsigned int end_time = time(NULL);
	printf("运行时间：%d(s)\n", end_time - start_time);

	getchar();
	return -1;
}

至此：复制之后，大小完全一样。文件可以正常打开。

还可以再优化的地方

现在每次读取是1024字节，也就是1KB,我们把它改成1MB。那么此时就不能在栈中直接开辟空间了，就需要到堆中开辟空间。malloc。

#define _CRT_SECURE_NO_WARNINGS
#include <stdio.h>
#include <stdlib.h>


int main(int argc, char* argv[])
{
	unsigned int start_time = time(NULL);
	FILE* fpr = fopen("F:/Practice/1.mp4", "rb");
	FILE* fpw = fopen("F:/Practice/6.mp4", "wb");

	if (!fpr || !fpw)
	{
		printf("打开文件错误。");
		return -1;
	}

	//char ch[1024];
	char* ch = (char*)malloc(sizeof(char) * 1024 * 1024);
	int rNum = 0;
	while (!feof(fpr))
	{
		memset(ch, 0, 1024 * 1024);
		rNum = fread(ch, 1, 1024 * 1024, fpr);
		fwrite(ch, 1, rNum, fpw);
	}
	fclose(fpr);
	fclose(fpw);
	free(ch);
	ch = NULL;
	unsigned int end_time = time(NULL);
	printf("运行时间：%d(s)\n", end_time - start_time);
	getchar();
	return -1;
}

用time()函数来统计时间只能到秒。需用用到clock相关函数统计到ms。    

clock_t StartTime, EndTime;

#define _CRT_SECURE_NO_WARNINGS
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <time.h>



int main(int argc, char* argv[])
{
	unsigned int start_time = time(NULL);
	clock_t StartTime, EndTime;
	StartTime = clock();
	
	FILE* fpr = fopen("F:/Practice/1.mp4", "rb");
	FILE* fpw = fopen("F:/Practice/6.mp4", "wb");

	if (!fpr || !fpw)
	{
		printf("打开文件错误。");
		return -1;
	}

	//char ch[1024];
	char* ch = (char*)malloc(sizeof(char) * 1024 * 1024);
	int rNum = 0;
	while (!feof(fpr))
	{
		//memset(ch, 0, 1024);
		memset(ch, 0, 1024 * 1024);
		rNum = fread(ch, 1, 1024 * 1024, fpr);
		fwrite(ch, 1, rNum, fpw);
	}
	fclose(fpr);
	fclose(fpw);
	free(ch);
	//ch = NULL;
	unsigned int end_time = time(NULL);
	EndTime = clock();
	printf("运行时间：%d(ms)\n", EndTime - StartTime);
	
	getchar();
	return -1;
}

如果放在栈中char ch[1024]：时间为：919ms。

改为1024乘以1024：1MB，且放入堆中之后时间为151ms。

如果改为10MB，看看效果：180ms。并没有提升。1MB最佳。

还可以优化的点

将fwrite的第二个与第三个参数互换，时间提高到130ms。

#define _CRT_SECURE_NO_WARNINGS
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <time.h>



int main(int argc, char* argv[])
{
	unsigned int start_time = time(NULL);
	clock_t StartTime, EndTime;
	StartTime = clock();
	
	FILE* fpr = fopen("F:/Practice/1.mp4", "rb");
	FILE* fpw = fopen("F:/Practice/6.mp4", "wb");

	if (!fpr || !fpw)
	{
		printf("打开文件错误。");
		return -1;
	}

	//char ch[1024];
	char* ch = (char*)malloc(sizeof(char) * 1024 * 1024);
	int rNum = 0;
	while (!feof(fpr))
	{
		//memset(ch, 0, 1024);
		//memset(ch, 0, 1024 * 1024);
		rNum = fread(ch, 1, 1024 * 1024, fpr);
		//fwrite(ch, 1, rNum, fpw);// 写入块数可以大一点。第2与第3参数互换。
		fwrite(ch, rNum, 1, fpw);// 写入块数可以大一点。第2与第3参数互换。

	}
	fclose(fpr);
	fclose(fpw);
	free(ch);
	//ch = NULL;
	unsigned int end_time = time(NULL);
	EndTime = clock();
	printf("运行时间：%d(ms)\n", EndTime - StartTime);
	
	getchar();
	return -1;
}

还有没有优化的空间？

根据文件的状态参数来设置复制的块数和size大小。精准控制。

#define _CRT_SECURE_NO_WARNINGS
#include <stdio.h>
#include <time.h>
#include <sys/types.h>
#include <sys/stat.h>

#define MAXSIZE 1024 * 1024

int main(int argc, char* argv[])
{
	clock_t StartTime, EndTime;
	StartTime = clock();

	FILE* fpr = fopen("F:/Practice/1.mp4", "rb");
	FILE* fpw = fopen("F:/Practice/7.mp4", "wb");
	if (!fpr || !fpw)
	{
		printf("打开文件错误。");
		return -1;
	}
	// 获取文件状态。
	struct stat s;
	stat("F:/Practice/1.mp4", &s);  // 通过结构体获取文件状态。
	//printf("文件字节大小:%d Bytes\n", s.st_size);
	//char ch[1024];
	char* ch;
	int maxSize = 0;
	if (s.st_size < MAXSIZE)
	{
		maxSize = s.st_size;
		ch = (char*)malloc(sizeof(char) * s.st_size);
	}
	else
	{
		maxSize = MAXSIZE;
		ch = (char*)malloc(sizeof(char) * MAXSIZE);
	}
	int rNum = 0;
	while (!feof(fpr))
	{
		//memset(ch, 0, 1024 * 1024);  // 我个人感觉可以不用。因为是指定数量的写入。当然，严谨点可以写上。
		rNum = fread(ch, 1, maxSize, fpr);
		//fwrite(ch, 1, rNum, fpw);// 写入块数可以大一点。第2与第3参数互换。
		fwrite(ch, rNum, 1, fpw);// 写入块数可以大一点。第2与第3参数互换。严进宽出。

	}
	fclose(fpr);
	fclose(fpw);
	free(ch);
	EndTime = clock();
	printf("运行时间：%d(ms)\n", EndTime - StartTime);

	getchar();
	return 0;
}

运行时间：184ms。

xiaoyaolangwj
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python 学习笔记 Python操作MySQL数据库
烟舞的博客
08-13 280
一、引包： 要想在Python中进行MySQL数据库的操作需要引入MySQL的相关资源包： 方法一：pip命令引入（通用） pip install pymysql 方法二：直接引入（PyCharm） 在程序中直接输入import pymysql 根据修改意见选择 install所在选项自动引入 方法三：PyCharm 引入 文件 --> 设置 -->项目 -->project Interpreter --> pip --> 搜索框输入 pymysql –> 选
java高效实现大文件拷贝功能
08-26
主要为大家详细介绍了java高效实现大文件拷贝功能，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Python 学习笔记 错误与异常 & 文件操作
烟舞的博客
08-06 509
一、错误与异常： 1.概念： 两种容易辨认的错误 ​ 语法错误：一些关于语法的错误【缩进】 ​ 异常：代码完全正确，但是，程序运行之后，会报出 的错误 exception/error list1 = [23,54,6,6] print(list1[2]) print(list1[3]) print(list1[4]) print("over") #结果： """ 6 6 Traceback (most recent call last): File "C:/Users/Administrator/D
【7.18】IO
m0_46661713的博客
07-15 381
构造方法，使用直接路径构造对象。构造方法，使用文件夹+文件名的方式构造对象。exists()判断文件或者文件夹是否存在。mkdir()创建文件夹。创建文件。得到一个文件夹下面的所有文件和文件夹，返回File数组。deldete()删除文件或者文件夹，文件夹只有空的才能删除。相对路径就是相对于目标文件的位置，File(parent,child)整个构造函数就是以parent作为目标文件，child为相对路径。绝对路径是指文件在硬盘上真正存在的路径。往往以磁盘名开头。...
C&C++——大文件拷贝【简单实现】
weixin_47296855的博客
11-30 943
C&C++简单实现大文件拷贝
程序填空题
大家一起入坑
12-26 5370
5-1 链栈入栈出栈操作。 #include<iostream> using namespace std; typedef char SElemType; typedef struct StackNode { SElemType data; struct StackNode *next; } StackNode, *LinkStack; int Push(LinkStack &S, SElemType e) { LinkStack p; p
C# 黑马.Net_大文件拷贝实例源码
11-03
大文件拷贝实例源码，学习关于IO文件流、多线程相关使用做参考。 private void button4_Click(object sender, EventArgs e) { this.progressBar1.Value = 0; this.label1.Text = "0%"; if (!File.Exists(this....
使用mmap实现多进程对大文件拷贝
08-25
主要介绍了使用mmap实现多进程对大文件拷贝，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
大文件拷贝 teracopy rar
09-24
大文件拷贝 teracopy.rar 我个人使用移动一盘拷贝文件的使用用的反正是它 可以断点续传，挺好用的 使用也简单
内存换算
give it a try
05-11 911
参考了一下其他博主的博客，因为以前没有注意这个，当题目给你的内存限制过于刁钻的时候(不能以空间来换时间)，就很难受了，因为不知道这个内存具体的限制缩小到了哪个范围了。 这里的换算，我够应付题就是了，不会了解得太细。 1KB = 1024字节 1MB = 1024KB 1GB = 1024MB 1TB = 1024GB (一般 int类型 4字节，bool类型 1字节等等) 。 举个例子叭 int arr[10000]. 一共100004字节。 一共100004/1024KB 一共10000*4/1024/1
复制文件（C语言实现）
11-10
用C语言编写软件,使其具有复制文件的功能. 利用带参数的main函数,创建名为mycope.exe的DOC命令,其功能是: 复制指定的文件.例如 , 假设已有文件d:\test1.txt,则可以将此文件复制为d:\temp\test2.txt. 用户界面应具有以下的菜单项: (1) 输入源文件(被复制的文件)路径和名称. (2) 输入目标文件(复制品文件)路径和名称
fread/fwrite第二个参数和第三个参数的区别以及与返回值的关系
caomiao2006的专栏
10-27 6813
两者是块读写的方式，第二个参数是单个块的大小，第三个参数是块的个数，返回值是实际读写的块的个数，而不是字节数。 如果将第三个参数设为1，那么如果fread读到的字节数小于第二个参数，则fread返回值为0。 这个问题很容易搞错，并导致很多问题，需要强调的是fread函数返回的并不是字节数。 realRead = fread(buf,item,count,fp)    （每次读item大小
C语言的文件操作
qq_47896523的博客
08-25 729
流：数据在数据源（文件）和程序（内存）之间经历的路径 输入流：数据从数据源（文件）到程序（内存）的路径 【读文件】 输出流：数据从程序（内存）到数据源（文件）的路径 【写文件】
【c语言】文件复制原理
最新发布
努力让自己的能力配得上梦想.
05-20 1072
文件复制的原理是从源文件中读取数据，然后将这些数据写入到另一个目标文件中 具体步骤： 使用**fopen()**函数打开源文件和目标文件 使用fread()函数从源文件中读取数据，每次读取指定数量的字节，存放在缓冲区中 把缓冲区中的数据使用**fwrite()**函数把缓冲区中的数据写入到目标文件中
Day9
qq_41470296的博客
01-17 140
一、上堂回顾 1.默写题目 1.简述类属性和实例属性之间的区别 """ a.定义位置不同 b.访问方式不同 c.在内存中出现的时机不同【类属性优先于实例属性出现】 d.被对象访问的优先级不同【类属性和实例属性重名】 e.使用场景不同：类属性一般用于表示共享数据，实例属性用来表示对象的特有数据 """ 2.简述成员函数，类函数和静态函数之间的区别 """ a.定义相同 b.类函数需要用@clas...
Linux系统下文件的拷贝/复制——fgetc/fputc、fgets/fputs、fread/fwrite、read/write的用法
Aa20201210的博客
02-03 501
Linux系统下文件的拷贝/复制——fgetc/fputc、fgets/fputs、fread/fwrite、read/write的用法
利用标准IO实现大文件的拷贝
uggjh的博客
07-18 372
利用标准IO实现大文件的拷贝
C语言文件拷贝-四种方式
热门推荐
小谢的博客
10-05 1万+
利用文件IO的方式，实现2个文件的拷贝 int copy_by_fileIO(const char *dest_file_name, const char *src_file_name) {//OK int fd1 = open(dest_file_name,O_WRONLY|S_IWOTH); if(fd1 == -1) { perror("fd1:"); return -1; } int fd2 = open(src_file_name,O
c语言文件创建与拷贝的几个例子--fopen、strstr、fgets、fwrite
weixin_45506125的博客
07-11 243
1、创建一个文件并向其写入字符串 1 #include <stdio.h> 2 3 int main() 4 { 5 FILE *fp; 6 char str[] = "ddd\ndhdhd\ndshf\ndhf\nHello\nniaho f f\ndiof\nfdhiohf\nfhf\nff\njf\ nfjf\nfjf\new\nw\n"; 7 fp = fopen("test.txt","w+"); 8
使用python 多线程拷贝大文件
03-25
以下是一个使用Python多线程拷贝大文件的示例代码： ```python import os import shutil import threading def copy_file(source_file, dest_dir): # 使用shutil.copy()复制文件 shutil.copy(source_file, dest_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值