并发和线程
基本概念 - 并行、并发
并行, parallel
互不干扰的在同一时刻做多件事;
如,同一时刻,同时有多辆车在多条车道上跑,即同时发生的概念.
并发, concurrency
同时做某些事,但是强调同一时段做多件事.
如,同一路口,发生了车辆要同时通过路面的事件.
队列, 缓冲区
类似排队,是一种天然解决并发的办法.排队区域就是缓冲区.
解决并发:
【 “食堂打饭模型”, 中午12点,大家都涌向食堂,就是并发.人很多就是高并发.】
1、队列, 缓冲区:
队列: 即排队.
缓冲区: 排成的队列.
优先队列: 如果有男生队伍和女生队伍,女生队伍优先打饭,就是优先队列.
2、争抢:
锁机制: 争抢打饭,有人抢到,该窗口在某一时刻就只能为这个人服务,锁定窗口,即锁机制.
争抢也是一种高并发解决方案,但是有可能有人很长时间抢不到,所以不推荐.
3、预处理:
统计大家爱吃的菜品,最爱吃的80%热门菜提前做好,20%冷门菜现做,这样即使有人锁定窗口,也能很快释放.
这是一种提前加载用户需要的数据的思路,预处理思想,缓存常用.
4、并行:
开多个打饭窗口,同时提供服务.
IT日常可以通过购买更多服务器,或多开线程,进程实现并行处理,解决并发问题.
这是一种水平扩展的思路.
注: 如果线程在单CPU上处理,就不是并行了.
5、提速:
通过提高单个窗口的打饭速度,也是解决并发的方式.
IT方面提高单个CPU性能,或单个服务器安装更多的CPU.
这是一种垂直扩展的思想.
6、消息中间件:
如上地地铁站的九曲回肠的走廊,缓冲人流.
常见消息中间件: RabbitMQ, ActiveMQ(Apache), RocketMQ(阿里Apache), kafka(Apache)等.
【以上例子说明: 技术源于生活! 】
进程和线程
a) 在实现了线程的操作系统中,线程是操作系统能够运算调度的最小单位.
b) 线程被包含在进程中,是进程的实际运作单位.
c) 一个程序的执行实例就是一个进程.
进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础.
进程和程序的关系: 进程是线程的容器.
Linux进程有父进程和子进程之分,windows的进程是平等关系.
线程有时称为轻量级进程,一个标准的线程由线程ID,当前指令指针,寄存器集合和堆栈组成.
当运行一个程序时,OS会创建一个进程。它会使用系统资源(CPU、内存和磁盘空间)和OS内核中的数据结构(文件、网络连接、用量统计等)。
进程之间是互相隔离的,即一个进程既无法访问其他进程的内容,也无法操作其他进程。
操作系统会跟踪所有正在运行的进程,给每个进程一小段运行时间,然后切换到其他进程,这样既可以做到公平又可以响应用户操作。
可以在图形界面中查看进程状态,在在Windows上可以使用任务管理器。也可以自己编写程序来获取进程信息。
获取正在运行的python解释器的进程号和当前工作目录,及用户ID、用户组ID。
In [1]: import os
In [2]: os.getpid()
Out[2]: 2550
In [3]: os.getuid()
Out[3]: 0
In [4]: os.getcwd()
Out[4]: '/root'
In [5]: os.getgid()
Out[5]: 0
In [6]:
对线程、线程的理解:
进程是独立的王国,进程间不能随便共享数据.
线程是省份,同一进程内的线程可以共享进程的资源,每一个线程有自己独立的堆栈.
线程的状态:
就绪(Ready): 线程一旦运行,就在等待被调度.
运行(Running): 线程正在运行.
阻塞(Blocked): 线程等待外部事件发生而无法运行,如I/O操作.
终止(Terminated): 线程完成或退出,或被取消.
python中的进程和线程: 进程会启动一个解释器进程,线程共享一个解释器进程.
python的线程开发
python线程开发使用标准库threading.
thread类
签名
def __init__(self, group=None, target=None, name=None, args=(), kwargs=None, *, daemon=None)
target: 线程调用的对象,就是目标函数.
name: 为线程起个名字.
args: 为目标函数传递实参, 元组.
kwargs: 为目标函数关键字传参, 字典.
线程启动
import threading
最简单的线程程序
def worker():
print("I'm working")
print("Finished")
t = threading.Thread(target=worker, name='worker') # 线程对象.
t.start()
通过threading.Thread创建一个线程对象,target是目标函数,name可以指定名称.
但是线程没有启动,需要调用start方法.
线程会执行函数,是因为线程中就是执行代码的,而最简单的封装就是函数,所以还是函数调用.
函数执行完,线程也会随之退出.
如果不让线程退出,或者让线程一直工作: 函数内部使用while循环.
import threading
import time
def worker():
while True:
time.sleep(1)
print("I'm work")
print('Finished')
t = threading.Thread(target=worker, name='worker') # 线程对象.
t.start() # 启动.