python多进程笔记

参考：https://blog.csdn.net/weixin_45901519/article/details/116503391

在学习多线成编程之前，我们先看看 多任务 的概念。

一、多任务：

1.1 概念：

多任务就是指：同一时间能执行多个任务。比方我们的电脑能一边QQ聊天，一边写论文，还能听歌。

1.2 多任务的优势：

多任务的最大好处是 充分利用CPU资源，提高程序的执行效率。

1.3 多任务的两种表现形式：

（1）并发：

在一段时间内交替去执行多个任务。

例子：

对于单核CPU处理多任务，操作系统轮流让各个任务交替执行。如下图所示：

（2）并行：

在一段时间内真正的同时一起执行多个任务。

例子：

对于多核cpu处理多任务，操作系统会给cpu的每个内核安排一个执行的任务，
多个内核是真正的一起同时执行多个任务。这里需要注意多核cpu是并行的执行多任务，始终有多个任务一起执行。

二、进程：

在python中，想要实现多任务，可以使用多进程来实现。

2.1 进程的概念：

进程(Process) 是资源分配的最小单位，它是操作系统进行资源分配和调度运行的基本单位，通俗理解:
一个正在运行的程序就是一个进程。例如：正在运行的qq,微信等，他们都是一个进程。
注意：一个正在运行的程序才叫进程，而没有运行的程序，只能叫程序，不能叫进程。
同时，一个程序可以有一个或者多个进程。

2.2 多进程的作用：

上图中是一个非常简单的程序，一旦运行hello.py这个程序，按照代码的执行顺序, func_ a函数执行完毕后才能执行func_b函数。如果可以让func a和func _b同时运行,显然执行hello.py这个程序的效率会大大提升。 那怎么实现呢？
接着看：

如下图所示，当运行hello.py这个程序的时候，先创建一个主进程，之后再创建了一个子进程，让主进程执行func_a，让子进程执行func_b，这样就使用多进程实现了多任务。

2.3 多进程完成多任务：

（1）进程的创建步骤：

1、导入进程包：

import multiprocessing

2、通过进程类创建进程对象：

进程对象 = multiprocessing.Process(target=任务名)

3、启动进程执行任务：

进程对象.start()

（2）多进程例子：

单进程：

# 多进程例子：
# 下面程序是单进程，先执行唱歌的函数，再执行跳舞的函数。需要3秒完成。

import time
# 唱歌
def sing():
    for i in range(3):
        print("唱歌...")
        time.sleep(0.5)

# 跳舞
def dance():
    for i in range(3):
        print("跳舞...")
        time.sleep(0.5)

if __name__ == "__main__":
    sing()
    dance()

多进程：

# 多进程例子：
# 下面程序是多进程，先执行唱歌的函数，再执行跳舞的函数。需要1.5秒完成。

import time
import multiprocessing

# 唱歌
def sing():
    for i in range(3):
        print("唱歌...")
        time.sleep(0.5)

# 跳舞
def dance():
    for i in range(3):
        print("跳舞...")
        time.sleep(0.5)

if __name__ == "__main__":
    # 2.使用进程类创建进程对象
    sing_process = multiprocessing.Process(target=sing)
    dance_process = multiprocessing.Process(target=dance)
    # 3.使用进程对象启动进程执行指定任务
    sing_process.start()
    dance_process.start()

2.5 获取进程编号：

'''
# （1）作用：
# 当程序中进程的数量越来越多时，如果没有办法区分主进程和子进程还有不同的子进程,那么就无法进行有效的进程管理,为了方便管理实际上每个进程都是有自己的编号。

# （2）获取进程编号的两种方式：

    # （1）获取当前进程编号：
    # import os
    #
    # os.getpid()

    # （2）获取当前父进程编号：
    #     import os
    #
    #     os.getppid()
'''
import os
import time
import multiprocessing
def sing(num, name):
    print("唱歌进程的编号：", os.getpid())
    print("唱歌进程的父进程编号：",  os.getppid())

    for i in range(num):
        print(name)
        print("唱歌...")
        time.sleep(0.5)

def dance(num, name):
    print("跳舞进程编号:", os.getpid())
    print("跳舞父进程编号:", os.getppid())
    for i in range(num):
        print(name)
        print("跳舞。。。")
        time.sleep(0.5)
if __name__ == "__main__":
    print("主进程的编号：", os.getpid())
    sing_process = multiprocessing.Process(target=sing, args=(3, "李华"))
    dance_process = multiprocessing.Process(target=dance, kwargs={"num":3,"name":"小明" })

    sing_process.start()
    dance_process.start()

运行结果：

2.6 进程的注意事项：

（1）主进程会等待所有的子进程完成才结束：

'''
2.6 进程的注意事项：
（1）主进程会等待所有的子进程完成才结束：
如下图所示，打开QQ时会创建一个主进程，而QQ里面有两个子进程。主进程会等待所有的子进程完成才结束：
'''

import time
import multiprocessing

def work():
    # 子进程会工作2秒钟
    for i in range(10):
        print("工作中...")
        time.sleep(0.2)

if __name__ == "__main__":
    work_process = multiprocessing.Process(target=work)
    work_process.start()

    # 主进程睡眠1秒
    time.sleep(1)
    print("主进程执行完了...")

我们发现，虽然打印了主进程执行完了，但是程序还没有结束，这就说明：主进程会等待所有的子进程完成才结束。

但是我们都知道，当我们把QQ的主进程关闭时，子进程都结束了。那怎么做才能当主进程结束时，子进程也结束了呢？

（2）设置守护主进程：

这个就是说，每一个子进程都守护主进程，当主进程结束了之后，子进程直接结束，也就是被销毁。

'''
只需要加一句话：

work_process.daemon = True # 设置子进程 守护 主进程
'''

import time
import multiprocessing

def work():
    # 子进程会工作2秒钟
    for i in range(10):
        print("工作中...")
        time.sleep(0.2)

if __name__ == "__main__":
    work_process = multiprocessing.Process(target=work)
    work_process.daemon = True # 设置子进程 守护 主进程
    work_process.start()

    # 主进程睡眠1秒
    time.sleep(1)
    print("主进程执行完了...")

（4）实现代码：

import os
import multiprocessing

def copy_file(file_name, source_dir, dest_dir):
    # 1.拼接源文件路径和目标文件路径
    source_path = source_dir + "/" + file_name
    dest_path = dest_dir + "/" + file_name

    # 2.打开源文件和目标文件
    with open(source_path, "rb") as source_file:
        with open(dest_path, "wb") as dest_file:
            # 3.循环读取源文件到目标文件
            while True:
                data = source_file.read(1024)
                if data: # 没到文件的最后一行
                    dest_file.write(data)
                else: # 为空，则说明到最后一行
                    break


if __name__ == "__main__":
    # 1.定义源文件夹和目标文件夹
    source_dir = r"D:\python_test\test\多进程"
    dest_dir = r"D:\python_test\test\back"

    # 2.创建目标文件夹
    try:
        os.mkdir(dest_dir)
    except:
        print("目标文件夹已经存在，未创建")

    # 3.读取源文件的文件列表
    file_list = os.listdir(source_dir)

    # 4.遍历文件列表实现拷贝
    for file_name in file_list:
        # copy_file(file_name, source_dir,dest_dir) # 这个实现是单任务的拷贝
        # 5.使用多进程实现多任务拷贝
        sub_process = multiprocessing.Process(target=copy_file,
                                              args=(file_name, source_dir, dest_dir))
        sub_process.start()