python控制网分_python网络/并发编程部分简单整理

同步和异步

同步就是一个任务的完成需要依赖另外一个任务时，只有等待被依赖的任务完成后，依赖的任务才能算完成

异步是不需要等待被依赖的任务完成，只是通知被依赖的任务要完成什么工作，依赖的任务也立即执行，只要自己完成了整个任务就算完成了

阻塞与非阻塞

阻塞和非阻塞这两个概念与程序（线程）等待消息通知(无所谓同步或者异步)

时的状态有关。也就是说阻塞与非阻塞主要是程序（线程）等待消息通知时的状态角度来说的

同步/异步与阻塞/非阻塞

同步阻塞形式-------效率最低

异步阻塞形式----------异步操作是可以被阻塞住的，只不过它不是在处理消息时阻塞，而是在等待消息通知时被阻塞。

同步非阻塞形式--------实际上是效率低下的

异步非阻塞形式---------效率高

进程的创建与结束

进程的创建：

1. 系统初始化

2. 一个进程在运行过程中开启了子进程

3. 用户的交互式请求，而创建一个新进程

4. 一个批处理作业的初始化

无论哪一种，新进程的创建都是由一个已经存在的进程执行了一个用于创建进程的系统调用而创建的。

进程的结束

1. 正常退出

2. 出错退出

3. 严重错误

4. 被其他进程杀死

在python程序中的进程操作

multiprocess模块

multiprocess不是一个模块而是python中一个操作、管理进程的包

multiprocess.process模块

|

|

|----process模块介绍

|

|

|----使用process模块创建进程

|

|

|----守护进程

|

|

|----多进程中的其他方法

| |

| |

| |----terminate

| |

| |

| | ----is_alive

|----进程对象的其他属性

|

|

|----pid

|

|

| ----name

进程同步

锁 —— multiprocess.Lock

信号量 —— multiprocess.Semaphore

事件 —— multiprocess.Event

进程间通信——队列和管道

进程间通信：IPC(Inter-Process Communication)

队列：Queue

生产者消费者模型

为什么要使用生产者和消费者模式

在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。

什么是生产者消费者模式

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。

管道

进程之间的数据共享

进程间应该尽量避免通信，即便需要通信，也应该选择进程安全的工具来避免加锁带来的问题

进程池和multiprocess.Pool模块

线程

进程是资源分配的最小单位,线程是CPU调度的最小单位，每一个进程中至少有一个线程。

线程与进程的区别

1）地址空间和其它资源（如打开文件）：进程间相互独立，同一进程的各线程间共享。某进程内的线程在其它进程不可见。

2）通信：进程间通信IPC，线程间可以直接读写进程数据段（如全局变量）来进行通信——需要进程同步和互斥手段的辅助，以保证数据的一致性。

3）调度和切换：线程上下文切换比进程上下文切换要快得多。

4）在多线程操作系统中，进程不是一个可执行的实体。

线程的特点：

轻型实体、独立调度和分派的基本单位、共享进程资源、可并发执行

线程和python

全局解释器锁GIL

Python代码的执行由Python虚拟机(也叫解释器主循环)来控制。Python在设计之初就考虑到要在主循环中，同时只有一个线程在执行。虽然 Python 解释器中可以“运行”多个线程，但在任意时刻只有一个线程在解释器中运行。

对Python虚拟机的访问由全局解释器锁(GIL)来控制，正是这个锁能保证同一时刻只有一个线程在运

在多线程环境中，Python 虚拟机按以下方式执行：

a、设置 GIL；

b、切换到一个线程去运行；

c、运行指定数量的字节码指令或者线程主动让出控制(可以调用 time.sleep(0))；

d、把线程设置为睡眠状态；

e、解锁 GIL；

d、再次重复以上所有步骤。

在调用外部代码(如 C/C++扩展函数)的时候，GIL将会被锁定，直到这个函数结束为止(由于在这期间没有Python的字节码被运行，所以不会做线程切换)编写扩展的程序员可以主动解锁GIL。

python线程模块

threading模块----Threading.Thread

守护线程

无论是进程还是线程，都遵循：守护xx会等待主xx运行完毕后被销毁。需要强调的是：运行完毕并非终止运行

1.对主进程来说，运行完毕指的是主进程代码运行完毕

2.对主线程来说，运行完毕指的是主线程所在的进程内所有非守护线程统统运行完毕，主线程才算运行完毕

锁

同步锁、死锁与递归锁

信号量

事件

定时器

线程队列

class queue.Queue(maxsize=0) # 先进先出

class queue.LifoQueue(maxsize=0) # last in fisrt out # 后进先出

class queue.PriorityQueue(maxsize=0) # 存储数据时可设置优先级的队列

Python标准模块--concurrent.futures

协程

协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。、

对比操作系统控制线程的切换，用户在单线程内控制协程的切换

优点：

1. 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级

2. 单线程内就可以实现并发的效果，最大限度地利用cpu

缺点：

1. 协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程

2. 协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

特点：

必须在只有一个单线程里实现并发

修改共享数据不需加锁

用户程序里自己保存多个控制流的上下文栈

附加：一个协程遇到IO操作自动切换到其它协程

Greenlet模块

Gevent模块

Gevent之同步与异步

I/O多路复用

IO模型介绍：

blocking IO 阻塞IO

nonblocking IO 非阻塞IO

IO multiplexing IO多路复用

signal driven IO 信号驱动IO

asynchronous IO 异步IO

阻塞IO-----blocking IO

blocking IO的特点就是在IO执行的两个阶段（等待数据和拷贝数据两个阶段）都被block了。

非阻塞IO-----non-blocking IO

在非阻塞式IO中，用户进程其实是需要不断的主动询问kernel数据准备好了没有。但是非阻塞IO模型绝不被推荐

多路复用IO------IO multiplexing

1. 如果处理的连接数不是很高的话，使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好，可能延迟还更大。select/epoll的优势并不是对于单个连接能处理得更快，而是在于能处理更多的连接。

2. 在多路复用模型中，对于每一个socket，一般都设置成为non-blocking，但是，如上图所示，整个用户的process其实是一直被block的。只不过process是被select这个函数block，而不是被socket IO给block。

结论: select的优势在于可以处理多个连接，不适用于单个连接

异步IO-------Asynchronous I/O

selectors模块