简版多进程文件夹copy器
在学习python多进程后,为了能快速掌握其中的知识点,就写了一个简单的多进程文件copy器。
主要的功能:在输入想要复制的文件后就会自动形成一个复制好的文件,还会有传输进度条显示。
如果复制的文件夹已存在,就会向你提醒然后重新输入你要复制的文件夹。
缺点:只能复制不含有文件夹的文件夹,且只能在该.py文件的目录下进行复制
以下就是代码演示:
"""
文件copy器,多进程之进程池版
"""
from multiprocessing import Manager, Pool
import os
# 创建执行任务进程
def copy_file(q, user_input, file_name, new_1dir):
# 打开文件列表对应文件
f = open(user_input + '/' + file_name, 'rb')
# 读取文件数据
data_ = f.read()
# print(data_)
f.close()
# 将读取的文件数据写入到复制的文件夹里
w = open(new_1dir + '/' + file_name, 'wb')
w.write(data_)
w.close()
# 在一个文件完成复制后,就会向Queue里面放入一个该文件完成的消息
q.put(file_name)
new_dir = 0
def main():
# 用户输入要复制的文件夹名
global new_dir
user_input = input('请输入要复制的文件夹名:')
try:
# 创建复制的文件夹
new_dir = user_input + '[复件]'
os.mkdir(new_dir)
except:
pass
# 打开对应文件夹获得文件列表
file_name = os.listdir(user_input)
# 创建进程池
p = Pool(10)
# 创建queue队列
q = Manager().Queue()
# 遍历文件列表获得任务
for task in file_name:
# 往文件池里添加任务
p.apply_async(copy_file, args=(q, user_input, task, new_dir))
# 关闭进程池
p.close()
# p.join()
all_file_len = len(file_name)
copy_finish = 0
while True:
# print(q.empty())
task = q.get()
# print('已完成copy:%s' % task)
copy_finish += 1
# 进度条显示
print("\r已完成传输%.2f" % (copy_finish * 100/all_file_len), end='%')
if copy_finish >= all_file_len:
break
if __name__ == '__main__':
main()
运行结果如下:
在写这个代码的过程中有一个疏忽性的问题,导致我浪费了很多时间:
就是读取原有文件夹的文件数据时,我没有设置一个变量去将读取的数据临时存储起来。而是直接将读取的数据以f.read()形式放入到复制的文件夹在写文件过程中的w.write()里面去,这样就产生了几个问题:
-
复制出来的文件夹里面的文件是个空文件。
-
程序的一个子进程卡死在w.write()这里,不会再向下执行。这样导致进程间的通信Queue无法放入消息,
那么程序就陷入到了一个死循环的状态,无法结束主进程。