python通俗易懂的GIL、多进程、多线程

前言

需要知道知识：

1. 全局变量：
   子进程可以使用，但是不能改变主进程的全局变量，
   函数可以使用，但是不能修改全局变量。
2. 内存：
   列表append会使内存一直增加
   类中的进程函数一定要是静态，否则会每一个进程都会继承类的数据，导致内存爆掉

简介：
在Python中，有两种并发处理方式：多线程和多进程。这两种方式都可以用于实现并行处理，提高程序的性能。以下是关于Python多线程和多进程的一些基本介绍：

1. 多线程：

• 多线程是在同一进程内创建多个线程，每个线程执行不同的任务，共享进程的资源。
• Python的多线程模块为threading，通过创建Thread对象来实现多线程。
• 多线程适用于I/O密集型任务，如网络请求、文件读写等，因为线程之间共享内存，可以减少线程间的通信开销。

示例代码：

import threading

def task():
    print("Hello from thread")

thread = threading.Thread(target=task)
thread.start()

2. 多进程：

• 多进程是在不同的进程中创建多个进程，每个进程独立执行任务，各自拥有独立的资源。
• Python的多进程模块为multiprocessing，通过创建Process对象来实现多进程。
• 多进程适用于CPU密集型任务，如计算密集型任务，因为每个进程有独立的内存空间，不会受到其他进程的影响。

示例代码：

import multiprocessing

def task():
    print("Hello from process")

process = multiprocessing.Process(target=task)
process.start()

需要注意的是，由于Python的全局解释器锁（GIL）的存在，Python的多线程并不能充分利用多核处理器的性能。因此，在处理CPU密集型任务时，建议使用多进程来实现并行处理。而对于I/O密集型任务，多线程通常是更好的选择。

1. 通俗易懂的理解

1.1 不需要知道GIL是什么

GIL只需要记住他是针对python 多线程来讲的，python 多线程其实没什么大用，并非CPU的并行，原因就是因为GIL机制，这个机制导致python 多线程实际上只是CPU在多个线程之间来回切换。如果当某个线程等待时间大于线程来回切换的时间，那么其实时间上是有收益的。GIL只允许一个进程中CPU只执行一个线程。

1.2 多线程

上面已经说过了，其实多线程可能大多数用于某个线程处理需要等待比较长时间，而又不想浪费时间。比如线程A在读取大文件，而不想浪费等待读取文件的时间，就可以用多线程，自动切换到线程B上处理其他事情。这些都是python多线程自己完成的。

1.3 多进程

python的多进程才是真正的CPU并行执行。之间的关系。一个程序可以起多个进程，一个进程又可以起多个线程。

2. 多线程代码

from threading import Thread

# 创建多线程
t1 = Thread(target=func1, args=(q1,...))
t2 = Thread(target=func2, args=(q2, ...))
...
# 启动多线程
t1.start()
t2.start()
...
# 阻塞
t1.join()
t2.join()
...

3. 多进程代码

from multiprocessing import Pool, Manager
...
# 创建进程池
 pool = Pool(processes=thread_nums)

# 异步并行
pool.apply_async(func1, args=(q1, ...))
pool.apply_async(func2, args=(q2, ...))
...

# 关闭，不在接受新任务
pool.close()
# 阻塞，等待子进程结束
pool.join()
...