python中如何使用多线程实现文件的copy

最新推荐文章于 2024-07-11 21:05:29 发布
最新推荐文章于 2024-07-11 21:05:29 发布
阅读量1.9k 收藏 4
点赞数 6
分类专栏： 笔记 文章标签： python linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Layfolk_XK/article/details/107874464
版权
本文介绍了如何使用Python的多线程来实现文件的复制。通过open方法读取源文件，以二进制方式获取数据，然后在新的文件中以write模式写入这些数据，从而完成文件的复制。
摘要由CSDN通过智能技术生成

文件的复制和粘贴我们每个人都会,但是若是只使用代码进行完成可能就会有点难度了,今天我们就使用python语言中的多线程实现文件的copy

思路

利用python中文件操作中的open方法通过输入的路径找到文件,再将文件中的数据利用二进制进行赋值给一个新的变量,再次利用open方法中的w模式来创建新的文件再将变量中的数据赋值给新的文件,这样就实现了文件的copy

代码

import threading	# 声明模块
import time
import os

f = ""		# 定义一个变量用来接收数据


def read_thread(file_name, file_home):		# 定义一个函数用来读取文件中的二进制数据
    read_file = open(file_home + '//' + file_name, "rb")		# open的打开模式为"rb"以二进制方式打开
    global f
    f = read_file.read(
最低0.47元/天 解锁文章
小白_小可
关注
  • 6
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python_多线程技术拷贝文件
Rookie_Max的博客
02-14 943
使用多线程方式备份文件 使用多线程拷贝一个目录，要求同时拷贝该目录下的这些文件 import os from threading import Thread # 先定义拷贝函数 def copy(dir_from, dir_to, file): # 拷贝文件 if os.path.isfile("%s/%s" % (dir_from, file)): f = op...
python多线程案例之多任务copy文件完整实例
09-18
主要介绍了python多线程案例之多任务copy文件,结合完整实例形式分析了Python使用multiprocessing模块实现基于多线程的文件拷贝相关操作技巧,需要的朋友可以参考下
Python实现多线程转储（复制/剪切）文件
最新发布
m0_67947599的博客
07-11 154
在平时工作中我们可能会遇到需要进行文件转储的情况，如果需要复制的文件比较多，在图形界面上进行复制会消耗大量的时间。为了解决以上问题，我们可以利用几行python代码实现文件的多线程转储，加快文件的转储速度。
python 多线程复制文件
jialan75的博客
12-16 746
""" 创建2个进程, 分别复制文件的上半部分和下半部分到一个新的文件中 """ import os from multiprocessing import Process from time import sleep filename = './images.jpg' size = os.path.getsize(filename) fr = open(filename, 'rb') def top(): sleep(1) # fr = open(filename, 'rb')
Python学习日志——多进程和多线程实现文件多任务拷贝器
weixin_42613087的博客
10-12 290
环境：windows 需求分析 1.判断目标文件夹是否存在，如果不存在就创建，存在则不创建 2.遍历源文件夹中所有文件，并拷贝到目标文件夹 3.采用进程实现多任务，并完成拷贝 实现步骤 1.定义源文件夹所在的路径，目标文件夹所在路径 2.创建目标文件夹 3.通过os.listdir获取源目录中的文件列表 4.遍历每个文件，定义一个函数，专门实现文件拷贝 5.采用进程实现多任务，完成高并发拷贝 import os import multiprocessing def copy_file(file_na
Python多进程实现文件夹的复制
四国棋客
05-18 1719
背景 在多任务方面，Python比java多了一个操作进程。故而，在此用python的多进程实现一下文件夹的复制，这一功能用多线程自然也能实现。 功能实现 由于不知道要复制的文件夹里有多少文件，因此一个一个用multiprocessing.Process创建进程就不合适了。所以使用进程池来管理任务进程，同时用任务队列保存需要拷贝的文件 先构造全局的任务队列，然后在入口方法里初始化 i...
10，python实现----多线程进行文件拷贝操作
HaLosec_Wei
05-21 3122
import multiprocessing from multiprocessing import Manager import os # 文件拷贝 def file_copy(file_name, file_dir, queue): # 创建文件对象 fw = open(file_dir + '/' + file_name, 'w') fr = o...
linux 下python多线程递归复制文件夹及文件夹中的文件
09-18
- 定义`copy_files`函数，使用队列`queue`来监控复制进度，并实现文件复制。 - 在文件复制的实现中，利用`try-except`结构捕获可能发生的IO异常，确保程序的健壮性。 5. 多进程递归复制文件夹中的文件： - 在...
python多线程技术（Threading）
smalltorch的博客
04-21 1821
多线程技术可以帮助我们加速python的工作效率。看本文前建议先看python传参这篇文章，有一点小小的知识点需要知道才好理解lock功能哪里的维护共享内存的安全性。没想到这么一个简单的功能写了这么多，看样子貌似写的很详细。
多线程copy file
01-23
多线程copy file实例，加时间控制
基于MFC多线程的CopyFile
12-23
VC基于MFC、多线程的文件复制对话框实现
python多线程实现文件夹拷贝
weixin_30345055的博客
01-04 470
import threadingimport osimport shutil# 创建拷贝任务def copy_work(source_dir, dest_dir, file_name): # 拼接文件名路径 source_file_path = source_dir + '/' + file_name dest_file_path = dest_dir + '/' + ...
Python中使用多进程复制文件
Jason_fight的博客
01-09 1803
使用fork()函数创建父子进程,父进程复制文件的前半部分,子进程复制文件的后半部分 #!/usr/bin/python #coding=utf-8 import sys,os #将第一参数作为源文件,以读写模式打开 try: fd_src = open(sys.argv[1],'r+') except: print "open
Python——利用多进程来进行多文件复制
庄小焱
12-03 1149
摘要 在我能的日常开发中，很多的时候需要用到多线进程文件的复制，这样可以缩短拷贝的时间，本博文将利用python的多线程进行文件的拷贝进行演示和分析。 博文参考
python 多进程与多线程配合拷贝文件目录
weixin_30838921的博客
04-04 292
版本一:使用shutil进行拷贝 1 # -*- coding: utf-8 -*- 2 # @author: Tele 3 # @Time : 2019/04/02 下午 3:09 4 # 待改进: 5 # 1.拷贝逻辑使用原生的io 6 # 2.针对大文件在进程内部实现多线程方式进行拷贝 7 8 9 import time 1...
【采坑留痕】python多进程拷贝
xiaosha_的博客
01-25 353
文章目录引子一、出现的主要原因1、拷贝的图片内容为空白2、用来统计的queue.put(new_name)必须放到最前面才有效果2、开始pool任务以后，程序没有任何反应，卡在命令行窗口二、代码 引子 最近看python系统编程相关，在学习多进程期间，使用pool完成多进程拷贝文件时，遇到几个蜜汁错误，有的明白，有的不明白，不多大体最终还是实现的最终效果。就留下错误的说明吧。代码附在最后。 一、出...
Python多线程拷贝指定文件到目标目录
weixin_49097920的博客
08-22 339
脚本实现封装后，只需要在ThreadProcessCopy.yaml文件中写用例即可，此后执行Threadprocess_Copy.py脚本即实现多线程拷贝文件夹下所有指定的文件如（.txt、.exe等结尾的文件）到指定目录。这个函数使用 threading 模块来创建多个线程，并将每个线程分配到不同的目标目录中进行 txt 文件拷贝。每个线程都会执行 copy_txt_files 函数来拷贝指定目录中的 txt 文件。endswith： 特殊文件以什么结尾的 如 .txt .exe .dll 等等。
【python3】 多线程以及多进程拷贝U盘图片数据
jn10010537的博客
11-12 598
【python3】 多线程以及多进程拷贝U盘图片数据1.背景2.代码3.运行结果及分析 1.背景 在做深度学习的时候，需要手动拷贝很多图片数据，发现U盘质量很差劲，拷贝非常耗时间，如下图： 于是想用python代码去解决速度慢的事情，希望得到大的提升。 2.代码 python多线程/多进程拷贝U盘图片，代码如下： 可以通过test_handle 设置来测试： "multi_process"多进程运行，开了10个进程，其实电脑6核，开6个就够了； "multi_thread"多线程，开了10个线程； “on
使用python 多线程拷贝大文件
03-25
以下是一个使用Python多线程拷贝大文件的示例代码： ```python import os import shutil import threading def copy_file(source_file, dest_dir): # 使用shutil.copy()复制文件 shutil.copy(source_file, dest_dir) def copy_big_file(source_file, dest_dir, chunk_size=1024*1024*10, thread_num=4): # 获取源文件大小 file_size = os.path.getsize(source_file) # 计算每个线程的拷贝大小 chunk_size = min(chunk_size, file_size // thread_num) # 创建目标目录 os.makedirs(dest_dir, exist_ok=True) # 启动多个线程执行文件拷贝任务 threads = [] for i in range(thread_num): start = i * chunk_size end = start + chunk_size if i == thread_num - 1: end = file_size t = threading.Thread(target=copy_file, args=(source_file, dest_dir)) t.start() threads.append(t) # 等待所有线程完成任务 for t in threads: t.join() # 示例用法 source_file = "/path/to/bigfile" dest_dir = "/path/to/destination" copy_big_file(source_file, dest_dir, chunk_size=1024*1024*100, thread_num=4) ``` 在上述示例代码中，我们定义了一个`copy_big_file()`函数来实现大文件拷贝。该函数接受三个参数：源文件路径`source_file`、目标目录路径`dest_dir`和可选的两个参数`chunk_size`和`thread_num`。`chunk_size`表示每个线程拷贝的大小，如果该值过大，可能会导致内存消耗过大；`thread_num`表示启动的线程数。 在函数实现中，我们首先获取文件大小，然后计算出每个线程拷贝的大小`chunk_size`，并创建目标目录。接着，我们启动多个线程执行文件拷贝任务，每个线程拷贝的文件块大小为`chunk_size`。最后，我们等待所有线程完成任务。 需要注意的是，在上述示例代码中，我们使用了`shutil.copy()`函数来实现文件拷贝。在拷贝大文件时，如果将整个文件全部读入内存中再写入目标文件，可能会导致内存消耗过大，甚至导致程序崩溃。因此，我们建议使用`shutil.copy()`来进行文件拷贝，该函数会自动处理文件块，避免了内存消耗过大的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值