python学习之多进程小练笔：简版多进程文件夹copy器

简版多进程文件夹copy器

在学习python多进程后，为了能快速掌握其中的知识点，就写了一个简单的多进程文件copy器。

主要的功能：在输入想要复制的文件后就会自动形成一个复制好的文件，还会有传输进度条显示。
如果复制的文件夹已存在，就会向你提醒然后重新输入你要复制的文件夹。
缺点：只能复制不含有文件夹的文件夹，且只能在该.py文件的目录下进行复制

以下就是代码演示：

"""
文件copy器，多进程之进程池版
"""

from multiprocessing import Manager, Pool

import os


# 创建执行任务进程
def copy_file(q, user_input, file_name, new_1dir):
    # 打开文件列表对应文件
    f = open(user_input + '/' + file_name, 'rb')
    # 读取文件数据
    data_ = f.read()
    # print(data_)
    f.close()
    # 将读取的文件数据写入到复制的文件夹里
    w = open(new_1dir + '/' + file_name, 'wb')
    w.write(data_)
    w.close()
    # 在一个文件完成复制后，就会向Queue里面放入一个该文件完成的消息
    q.put(file_name)


new_dir = 0


def main():
    # 用户输入要复制的文件夹名
    global new_dir
    user_input = input('请输入要复制的文件夹名：')
    try:
        # 创建复制的文件夹
        new_dir = user_input + '[复件]'
        os.mkdir(new_dir)
    except:
        pass
    # 打开对应文件夹获得文件列表
    file_name = os.listdir(user_input)
    # 创建进程池
    p = Pool(10)
    # 创建queue队列
    q = Manager().Queue()
    # 遍历文件列表获得任务
    for task in file_name:
        # 往文件池里添加任务
        p.apply_async(copy_file, args=(q, user_input, task, new_dir))
    # 关闭进程池
    p.close()
    # p.join()
    all_file_len = len(file_name)
    copy_finish = 0
    while True:
        # print(q.empty())
        task = q.get()
        # print('已完成copy：%s' % task)
        copy_finish += 1
        # 进度条显示
        print("\r已完成传输%.2f" % (copy_finish * 100/all_file_len), end='%')
        if copy_finish >= all_file_len:
            break


if __name__ == '__main__':
    main()

运行结果如下：

在写这个代码的过程中有一个疏忽性的问题，导致我浪费了很多时间：

就是读取原有文件夹的文件数据时，我没有设置一个变量去将读取的数据临时存储起来。而是直接将读取的数据以f.read()形式放入到复制的文件夹在写文件过程中的w.write()里面去，这样就产生了几个问题：

1. 复制出来的文件夹里面的文件是个空文件。

2. 程序的一个子进程卡死在w.write()这里，不会再向下执行。这样导致进程间的通信Queue无法放入消息，
   那么程序就陷入到了一个死循环的状态，无法结束主进程。