python协程处理海量文件_python_实战篇_使用协程gevent模块实现多任务copyA文件夹到B文件夹...

大家好，我是金鱼座，一个走在测试领域这片蓝海中， 蹉跎前行的技术渣渣，唯有一直走下去，也许能改变点什么，加油！

接着上次的通过多进程来实现多任务处理，本次使用gevent来实现协程的多任务处理

闲话不说上代码：

#!/usr/bin/python3

# -*- coding: utf-8 -*-

"""

@File : abc_test.py

@Author: JACK

@Date : 2019/8/12

@Des :

"""

"""

使用多任务，来copy文件到指定的目录下(协程版本)

"""

import os

# import multiprocessing

import time

import gevent

from gevent import monkey

import threading

old_folder_name = 'E:\\2jack项目\\2W_small_imgs'

new_folder_name = 'E:\\2jack项目\\2W_small_imgs_1'

tasklist = [] # 定义一个任务列表

count = []

file_names = os.listdir(old_folder_name)

# copy file

def copy_file_gevent(file_name):

old_file_path = os.path.join(old_folder_name, file_name)

# 把旧的东西读出来

file = open(old_file_path, 'rb')

content = file.read()

file.close()

# 创建一个新的文件

new_file_path = os.path.join(new_folder_name, file_name)

# 在新的里面写入

new_file = open(new_file_path, 'wb')

new_file.write(content)

new_file.close()

count.append(1)

# 创建目录

def mkdir_folder():

try:

os.mkdir(new_folder_name)

print("创建文件夹{}成功".format(new_folder_name))

except:

pass

# 执行单位

def main_gevent():

tasklist.append(gevent.spawn(count_progress))

for file in file_names:

tasklist.append(

gevent.spawn(copy_file_gevent, file)

)

gevent.joinall(tasklist)

def count_progress():

while True:

time.sleep(0.5)

if len(count) >= len(file_names):

break

else:

print("\r 当前执行进度{:2f}%".format((len(count)*100/len(file_names))), end="")

if __name__ == "__main__":

monkey.patch_all()

start_time = time.time()

mkdir_folder()

main_gevent()

end_time = time.time()

print("耗时{}".format((end_time-start_time)))

此处说个好玩的事情，在我用多线程来进行执行count_progress时，由于在while True中没有加time.sleep()操作，导致我启动的另外一个线程执行main_gevent一直得不到cpu的调度执行

count_thr = threading.Thread(target=count_progress)

print(1)

m_g = threading.Thread(target=main_gevent)

main_gevent()

print(2)

count_thr.start()

print(3)

m_g.start()

print(4)

打印输出截图

image.png

如上图会停留在2，而无法执行去start m_g这个线程

解决办法就是在count_progress里面增加sleep操作，顺利执行打印20000张图片后效率提升一倍(480s-222s)

image.png