进程与线程
进程属于操作系统的概念,操作系统中一个正在运行的程序就是一个进程,这个程序除了会用到CPU和内存之外,可能还会用到网络、磁盘等设备,因此进程就是操作系统对一个程序管理的抽象集合。
线程属于进程的一个子集,是程序执行的最小单元,也即程序执行的指令。
进程是操作系统资源分配的基本单位,线程是CPU调度的基本单位。因此进程可以使用多个CPU核心,而线程只能在1个CPU核心中。
并发与并行
并发:一段时间内由少量的CPU核心去执行多个任务,因此CPU核心是不够用的,对于每个核心来说有多个任务需要去处理,因此只能以非常快的速度在这些任务中切换,比如某些任务处理到一半就需要等待IO结果,那么这时候CPU就会切换到下一个任务去执行。
并行:真正意义上的多任务处理操作,CPU核心是大于或者等于任务数量的,因此对于某些任务来说,可以给它分配多个CPU来加速处理。
不管是进程还是线程,只要是同一时间在多个CPU上执行的,就是并行,否则为并发。因此,多核CPU既有并发也有并行,而单核CPU只有并发情况。
异步与同步
这两个比较好理解,程序执行的过程中如果卡住了(比如大量磁盘读写、数据库存取、或者模型计算等耗时操作),需要等待结果出来后才能执行下一步则是同步,否则是异步。可以理解成在什么都不做的情况下程序默认是同步执行的。结合上面的定义来看,多线程是实现异步的一种方式。
在python中,可以用单线程的asyncio
来实现异步,定义异步函数非常简单,只需要用到async
和await
关键字即可把同步函数变成异步函数。
async def fun():
await res = f() # 耗时的部分
return res
定义了异步函数后,还需要用asyncio.run()
方法执行该函数,否则还是主体程序还是同步的,达不到异步的目的。
asyncio.run(fun())
如果需要执行多个异步函数,那么可以创建一个事件循环get_event_loop()
,在事件循环中执行多个异步函数。
task_list = [fun(), fun()] # 执行两次fun()函数
loop = asyncio.get_event_loop()
try:
loop.run_until_complete(asyncio.wait(task_list))
finally:
loop.close()