python中使用多进程和单进程分别拷贝大量文件效率对比

最新推荐文章于 2024-06-10 00:45:51 发布
最新推荐文章于 2024-06-10 00:45:51 发布
阅读量2.9k 收藏 4
点赞数
文章标签： python 进程池 多进程 单进程 效率对比
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/longdreams/article/details/78198283
版权

此贴用于研究多进程和单进程拷贝大量文件的效率问题

首先建立test文件夹，然后使用下列代码批量创建200个py文件

#创建２００个文件
i = 0
while i < 200:
    o = open("test/"+str(i)+".py","w")
    content = str(i);
    o.write(content)
    o.close()
    i += 1

一：使用进程池Pool拷贝文件
下列代码中将创建5个进程用于拷贝文件

from multiprocessing import Pool,Manager
import
最低0.47元/天 解锁文章
system_is_error
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
详解Python IO口多路复用
12-17
在Python中，可以使用select模odule来实现I/O多路复用，如select.select()函数，以及更高效的选择器epoll（在selectors模块中）。这样，服务器就可以有效地处理大量并发连接，提高服务效率和响应速度。
批量拷贝文件（大量文件应用比较方便）
06-18
使用多线程或多进程（Python的`threading`或`multiprocessing`模块）或异步IO（如Python的`asyncio`库）可以显著提高效率。 7. 错误处理：在批量操作中，可能会遇到文件权限问题、文件不存在等问题，因此需要适当的...
什么？Python的多进程居然比单进程慢？
热门推荐
修炼之路
08-02 1万+
导读 很多时候，当我们需要使用Python来处理大量的数据的时候，为了缩短处理的时间，我们会使用多线程或多进程来并行处理任务。 由于Python全局解释器锁的存在，导致在执行多线程的时候实际上只有一个线程在运行，这使得多核CPU无法发挥它真正的效率。而多进程就可以很好的解决这个问题。如果你打开多进程的姿势不对，会导致它比单进程更慢，下面我们就来看看如何正确的打开多进程。 实验环境 系统：Ubuntu16.04 Python：3.7 示例 这个示例是基于Python对图片做一个预处理，以便于后面神经网络使
Python多进程学习及实现多进程版文件复制器
最新发布
2401_82928104的博客
06-10 1051
进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配的基本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。程序是固定不变的，而进程会根据运行需要，让操作系统动态分配各种资源。另外，CPU的时间片轮转就是在切换执行不同的进程，但进程切换比较浪费时间，就引进了轻量级进程，也就是所谓的线程，一个进程包括多个线程。
Python多线程、多进程拷贝文件
weixin_49097920的博客
05-09 324
【代码】Python多线程、多进程拷贝文件。
python 之多进程+队列复制
紫梦涵的博客
11-10 433
【代码】python 之多进程+队列复制。
python多线程DAY02.txt
04-27
1. 如果子进程从父进程拷贝对象，对象和网络或者文件相关联，那么父子进程会使用同一套对象属性，相互有一定的关联性 2. 如果在子进程中单独创建对象，则和父进程完全没有关联 Process进程对象属性 p.start() p....
Python-高频-面试-知识点
01-18
3. **双下划线和单下划线**：在Python中，单下划线开头的变量表示不希望外部直接访问，但不是私有；双下划线开头的变量表示私有，尽量避免在外部直接访问，Python会进行名称修饰，使得在类的实例中直接访问这类属性...
Python 下载大文件，哪种方式速度更快
somenzz的博客
07-20 681
通常，我们都会用 requests 库去下载，这个库用起来太方便了。方法一使用以下流式代码，无论下载文件的大小如何，Python 内存占用都不会增加：defdownload_file(url): local_filename=url.split('/')[-1] #注意传入参数stream=True withrequests.get(u...
python进程池实现的多进程文件夹copy器完整示例
09-18
主要介绍了python进程池实现的多进程文件夹copy器,结合完整实例形式分析了Python基于多进程与进程池的文件操作相关实现技巧,需要的朋友可以参考下
python进阶之利用多进程实现文件的拷贝
Jonny
11-07 3989
整个程序的流程可分为四步：         第一步是提示用户输入要拷贝的文件夹;         第二步是创建新文件夹;         第三步是获取文件夹中所有文件的名字;         最后一步是就是利用进程池创建进程完成复制。 具体的分析在程序中都有了，不再做过多的赘述。（注释掉的代码是用于编写过程中的测试语句） #根据进程池和进程间通信实现文件拷贝 from multipr
Python中单线程、多线程和多进程的效率对比实验
weixin_34268610的博客
11-16 680
title: Python中单线程、多线程与多进程的效率对比实验date: 2016-09-30 07:05:47tags: [多线程,多进程,Python]categories: [Python] meta: Python中多线程和多进程的对比 Python是运行在解释器中的语言，查找资料知道，python中有一个全局锁（GIL），在...
【进程 07】单进程拷贝文件与多进程拷贝文件的优劣（适用情况）
菜鸟成长日记
04-02 574
单线程模式 import os import time def copyFile(rPath, wPath): fr = open(rPath, 'rb') fw = open(wPath, 'wb') content = fr.read() fw.write(content) fr.close() fw.close() path = r...
单进程 vs 多进程
blade2001的专栏
09-19 5282
pros: 1. 初期实现起来比较简单快速，省去了进程间通信的工作 2. 单一性使得部署和运营比较简单 3. 内存占有少， 现在内存都很便宜，这个优势不明显 4. 进程内部通信效率比IPC/socket等要高效 cons: 1. 中后期随着业务逻辑的复杂化和需
Windows下用Python你会几种copy文件的方法以及效率分析
duhaomin的专栏
11-25 3748
001:os.system import os import tempfile filename1 = tempfile.mktemp (".txt") open (filename1, "w").close () filename2 = filename1 + ".copy" print filename1, "=>", filename2 #拷文件 os.system ("copy %s
python 使用ffmpeg 多进程分割视频文件
02-05
在Python中使用FFmpeg进行多进程分割视频文件可以通过以下步骤实现： 1. 首先，你需要安装FFmpeg并确保它已经添加到系统的环境变量中。你可以从FFmpeg的官方网站（https://ffmpeg.org/）下载并安装它。 2. 在Python中，你可以使用`subprocess`模块来执行FFmpeg命令。首先，导入`subprocess`模块： ```python import subprocess ``` 3. 接下来，你可以使用`subprocess.Popen`函数来启动一个新的进程并执行FFmpeg命令。例如，你可以使用以下代码来分割视频文件： ```python def split_video(input_file, output_file, start_time, duration): command = ['ffmpeg', '-i', input_file, '-ss', start_time, '-t', duration, '-c', 'copy', output_file] process = subprocess.Popen(command) process.wait() ``` 在上面的代码中，`input_file`是输入视频文件的路径，`output_file`是输出视频文件的路径，`start_time`是分割开始的时间（以秒为单位），`duration`是分割的持续时间（以秒为单位）。 4. 如果你想要同时分割多个视频文件，你可以使用Python的多进程库（如`multiprocessing`）来实现并行处理。以下是一个示例代码： ```python import multiprocessing def split_video(input_file, output_file, start_time, duration): # 分割视频的代码 if __name__ == '__main__': input_files = ['video1.mp4', 'video2.mp4', 'video3.mp4'] output_files = ['output1.mp4', 'output2.mp4', 'output3.mp4'] start_times = [10, 20, 30] durations = [5, 10, 15] processes = [] for i in range(len(input_files)): process = multiprocessing.Process(target=split_video, args=(input_files[i], output_files[i], start_times[i], durations[i])) processes.append(process) process.start() for process in processes: process.join() ``` 在上面的代码中，`input_files`是输入视频文件的路径列表，`output_files`是输出视频文件的路径列表，`start_times`是分割开始的时间列表，`durations`是分割的持续时间列表。通过循环创建多个进程来同时处理多个视频文件的分割操作。 这样，你就可以使用FFmpeg和Python的多进程库来实现多进程分割视频文件了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值