网络编程
开发架构
B/S: browser/server
C/S: client/server
OSI七层模型
应用层
表示层
会话层
传输层: 建立端口到端口的通信, TCP/UDP协议
网络层: 引入IP地址来进行跨局域网通信, 因特网协议
数据链路层: 规定分组方式, 以太网协议(局域网), MAC地址
物理层: 基于电信号发送二进制流
socket
socket模块内部将OSI七层模型的复杂操作进行了封装
subprocess
远程向DOS系统发送指令, 并接受DOS系统返回的结果
subprocess.Popen('命令', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
粘包问题
不确定对方发送数据的长度
数据长度小, 发送间隔时间短的数据, 会被打包一次性发送
通过struct模块解决粘包问题: 先发送一个包含数据长度的报头告知对方即将发送的数据的长度
socketserver
TCP
流式协议
需要建立双向连接( 三次挥手)
反馈机制: 往对方发送数据, 必须要得到返回消息, 否则就会在一段时间内一直发送
面向连接的可靠数据传输协议
UDP
面向数据的不可靠数据传输协议
不需要建立双向通道
传输速度快
不会有粘包问题
发送数据不需要得到对方返回消息
并发编程
多道技术
单道: 内存中只存在一个任务
多道: 内存中存在多个任务(分时交替运行, 切换+保存状态)
并发和并行
并发: 一段时间内执行多个任务, 这些任务分时交替运行
并行: 一个时间点上可以运行多个任务
进程
程序: 数据和指令的集合, 静态的概念
进程: 程序关于某个数据集合的一次运行, 动态的概念
进程时操作系统进行资源分配的基本单位
进程调度:
先来先服务: 谁先就绪就先执行谁
短作业优先: 谁的预计执行时间短就执行谁
时间片轮转法: 为每个进程分配一个时间段, 在这个时间段内执行该进程
分级反馈队列: 设置多个就绪队列, 设置不同的优先级
进程的三种状态:
就绪态
执行态
阻塞态
同步和异步: 面向被调用者的消息提醒机制
同步: 等有结果再返回
异步: 先返回, 再执行, 有结果再通知
阻塞和非阻塞: 面向调用者的等待消息的状态
阻塞: 死等
非阻塞: 等待的同时可以干其他事情
创建进程的两种方式:
p=Process(target=函数名, args=(参数, ))
class MyProcess(Process)--->def run(self)--->p=MyProcess()
僵尸进程和孤儿进程
僵尸进程: 进程结束了, pid没被回收
孤儿进程: 子进程还行执行, 主进程异常结束
守护进程
主进程等待子进程结束再结束
互斥锁
将并发变为串行, 牺牲了执行效率, 保证可数据安全
队列
相当于一个数据中转站, 可以实现多进程传入或者获取数据(先进先出)
IPC进程间通信
进程间的数据是相互隔离, 可以通过队列实现进程间通信
生产者与消费者模型
通过容器解决生产者和消费者之间的强耦合问题
生产者: 产生数据的
消费者: 使用数据多的
线程
进程是一个资源单位, 进程是一个执行单位, 是CPU运行调度的最小单位
进程被创建时就带有一个线程
一个进程内可以创建多个线程, 这些线程共享进程的资源
线程的开销要远小于进程
GIL
GIL本质上就是一个互斥锁
GIL使得同一时刻一个进程中只有一个线程运行(多线程不能并行, 但可以并发执行)
CPython解释器的内存管理不是线程安全的
多线程与多进程的选择
I/O密集型: 多线程
计算密集型: 多进程
死锁
多线程下因资源竞争而才造成的相互等待现象
递归锁
递归锁的特点是在一个线程内可以被多次acquire
递归锁的内部维护了一个Lock和一个counter, 每acquire一次计数加一,release一次计数减一, 当计数为0, 既所有acquire都release之后才会释放给其他线程使用
信号量
信号量相当于多把互斥锁, 可以控制访问资源的进程数量
sm = semaphore(5) 表示一次允许五个线程访问数据
线程队列
FIFO队列
LIFO队列
优先级队列
event事件
可以控制其他线程的执行
进程池与线程池
可以控制程序允许创建的进程和线程数量, 防止超出硬件承受范围
协程
在单线程中实现并发
线程是系统级别的,由操作系统控制, 协程是程序级别的, 由程序员手动控制
没有上下文切换的开销 , 节省了时间和空间
不能利用多核优势, 进行阻塞操作会阻塞整个程序
gevent
实现协程
IO模型
阻塞IO
非阻塞IO
多路复用IO
异步IO