多进程和锁机制

进程：进程是正在执行程序的实例，是资源分配最小的单位，每个进程都有自己单独的资源区域。进程在一定的环境下，把静态的程序代码运行起来，通过使用不同的资源，来完成一定的任务。进程的环境包括环境变量，进程所掌控的资源，有打开的中央处理器，有内存，文件，映射的网络端口等。

守护进程：守护进程就是在后台运行,不与任何终端关联的进程,通常情况下守护进程在系统启动时就在运行,它们以root用户或者其他特殊用户(apache和postfix)运行,并能处理一些系统级的任务.习惯上守护进程的名字通常以d结尾(sshd),但这些不是必须的。

孤儿进程：父进程如果不等待子进程退出，在子进程之前就结束了自己的“生命”此时的子进程叫做孤儿进程。init进程会收留孤儿进程，变成孤儿进程的父进程。init 进程负责子进程退出后的善后清理工作。

僵尸进程：一个进程使用fork创建子进程，如果子进程退出，而父进程没有设置忽略 SIGCHLD 且没有调用wait或waitpid获取子进程的状态信息，那么子进程的进程描述符仍然保存在系统中。这种进程称之为僵尸进程，这时用ps命令就能看到僵尸进程的状态是“Z”。

参考：孤儿进程/僵尸进程/守护进程

进程表：为实现进程模型，每个进程占用一个进程表项，该进程表项包含了进程状态的重要信息，包括程序计数器、堆栈指针、内存分配状况、所打开文件的状态、帐号和调度信息等。

程序计数器（PC）：是用于存放下一条指令所在单元地址的地方。当执行一条指令时，首先需要根据PC中存放的指令地址，将指令由内存取到指令寄存器中，此过程称为"取指令"。与此同时，PC中的地址或自动加1或由转移指针给出下一条指令的地址。此后经过分析指令，执行指令。完成第一条指令的执行，而后根据PC取出第二条指令的地址，如此循环，执行每一条指令。

线程：cpu调度的最小单位。线程共享进程的资源，多个线程可以共享同一地址空间和其他资源，比如共享全局变量。线程作为进程的一部分，扮演的角色就是怎么利用中央处理器去运行代码。线程关注的是中央处理器的运行，而不是内存等资源的管理。同一时刻只有一个线程占用cpu，但高速切换给人带来并行的假象。

用户态线程和内核态线程：用户态和内核态线程

【面试高频问题】线程、进程、协程 - 知乎 (zhihu.com)

协程：又叫微线程， Coroutine。协程是一种用户态的轻量级线程。协程拥有自己的寄存器上下文和栈。协程调度切换时， 将寄存器上下文和栈保存到其他地方，在切换回来时候，恢复先前保存的寄存器上下文和栈。因此：协程能保留上一次调用时的状态。

协程的好处：

1. 无需线程上下文切换的开销
2. 无需原子操作锁定及同步的开销
3. 方便切换控制流，简化编程模型

缺点：

1. 无法利用多核资源：协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要，除非是cpu密集型应用。
2. 进行阻塞（Blocking）操作（如IO时）会阻塞掉整个程序

参考：进程、线程、锁的概念 - 知乎 (zhihu.com)

锁：通过锁机制，能够保证在多核多线程环境中，在某一个时间点上，只能有一个线程进入临界区代码，从而保证临界区中操作数据的一致性。

死锁：（互斥条件、请求与保持条件、不剥夺条件、循环等待条件）

解决死锁的基本方法：

• 预防死锁：确保死锁发生的四个必要条件中，至少有一个不成立
• 避免死锁：动态检测资源分配状态，确保循环等待条件不成立，使系统处于安全状态
• 检测、解决死锁：检测死锁并解决（进程终止、资源抢占）

GIL锁：Python 的线程虽然是真正的线程，但解释器执行代码时，有一个 GIL 锁(Global Interpreter Lock)，任何 Python 线程执行前，必须先获得 GIL 锁。每执行 100 条字节码，解释器就自动释放 GIL 锁，让别的线程有机会执行。这个 GIL 全局锁实际上把所有线程的执行代码都给上了锁。所以，多线程在 Python 中只能交替执行，即使 100 个线程跑在 100 核 CPU 上，也只能用到 1 个核。GIL 是 Python 解释器设计的历史遗留问题，通常我们用的解释器是官方实现的 CPython，要真正利用多核，除非重写一个不带 GIL 的解释器。所以，在 Python 如果一定要通过多线程利用多核，那只能通过 C 扩展来实现。因而，多线程的并发在 Python 中就是一个美梦，如果想真正实现多核任务，还是通过多进程来实现吧。

参考：Python中全局解释器锁、多线程和多进程

编译器和解释器的区别：

解释器( interpreter ) 与 编译器( compiler ) 的对比

python语法

python多线程

• start()
• join() (等子线程执行完成后，再执行其他线程或主线程)
• run()
• setName()
• getName()
• setDaemon(True)

线程锁

• 互斥锁（mutex）
• 递归锁
• 信号量（BoundedSemaphore类）
• 事件（Event类）

python的多线程和锁

Python多线程同步锁，死锁和递归锁 (qq.com) 互斥锁、递归锁

Python多线程之同步条件，信号量和队列 (qq.com) 事件（Event类）、信号量、队列

Queue队列中join()与task_done()的关系 对于多线程队列的讲解

Python语法：多线程和多进程(一)

python的多进程以及进程之间通信方法

Python多进程(全) - 知乎 (zhihu.com)

进程之间通信方法：

• 管道 Pipe
• 消息队列 Queue
• 信号量
• 共享内存 Manager
• socket（套接字是进程间通信机制，用于不同主机间的进程通信）
• 进程池 Pool

多进程的阻塞和非阻塞

python3多进程阻塞与非阻塞

python 进程池multiprocessing.Pool

进程池代码实现

from multiprocessing import Lock, Pool
import time


def function(index):
    print('Start process: ', index)
    time.sleep(2)
    print('End process', index)

if __name__ == '__main__':
    pool = Pool(processes=3)
    for i in range(6):
        pool.apply_async(function, (i,))  #非阻塞

    print("Started processes")
    #pool.close() #需要关闭进程池，防止池其他任务的提交，注意！这里不是关闭进程。简单来说就是关掉了屋外的大门，但是各个房间在运行。

    for i in range(8, 10):
        pool.apply_async(function, (i,))  #非阻塞

    pool.close()

    pool.join()  #等待进程池里面的进程运行完
    print("Subprocess done.")

asynchronous（异步）        async

synchronization（同步）

问题

python多进程，子进程不显示执行函数的打印

Python3.6 IDLE 使用 multiprocessing.Process 不显示执行函数的打印

【Python有坑系列】python多进程

python多线程和多进程的使用场景

io操作不占用CPU（硬盘、网络、内存读取数据）

计算操作占用CPU

python中的线程是假线程，不同线程之间的切换是需要耗费资源的，因为需要存储线程的上下文，不断的切换就会耗费资源。。

python多线程适合io操作密集型的任务（如socket server 网络并发这一类的）；
python多线程不适合cpu密集操作型的任务，主要使用cpu来计算，如大量的数学计算。
那么如果有cpu密集型的任务怎么办，可以通过多进程来操作（不是多线程）。
假如CPU有8核，每核CPU都可以用1个进程，每个进程可以用1个线程来进行计算。
进程之间不需要使用gil锁，因为进程是独立的，不会共享数据。
进程可以起很多个，但是8核CPU同时只能对8个任务进行操作。

 Python3 多线程、多进程的使用场景_blog_1103的博客-CSDN博客_python多进程和多线程的应用场景