python 协程池,python 多进程池、多线程池、协程池 实现笔记

进程：一个运行的程序(代码)就是一个进程，没有运行的代码叫程序，进程是系统资源分配的最小单位，进程拥有自己独立的内存空间，所有进程间数据不共享，开销大。

线程: cpu调度执行的最小单位，也叫执行路径，不能独立存在，依赖进程存在，一个进程至少有一个线程，叫主线程，而多个线程共享内存可以极大地提高了程序的运行效率。

协程: 是一种用户态的轻量级线程，协程的调度完全由用户控制，协程拥有自己的寄存器上下文和栈。协程调度时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈，直接操中栈则基本没有内核切换的开销，可以不加锁的访问全局变量，所以上下文的切换非常快。

多进程：

from multiprocessing import Pool

import time

def test(i):

print(i)

time.sleep(1)

if __name__ == "__main__":

lists = [i for i in range(1,1000)]

pool = Pool(processes=100) #定义最大的进程数

pool.map(test, lists) #p必须是一个可迭代变量。

pool.close()

pool.join()

多线程

import time

from threading import Thread

from queue import Queue

def echo_client(q):

print(f"---------- :{q}")

time.sleep(1)

def echo_server(nworkers):

# Launch the client workers

q = Queue()

for n in range(nworkers):

t = Thread(target=echo_client, args=(q,))

t.daemon = True

t.start()

echo_server(128)

协程池

import uuid

import gevent

from gevent import monkey, pool

import time, random

import urllib.request

monkey.patch_all()

jpg_num = 0

def down_load_img(img_uel, img_name):

global jpg_num

jpg_num += 1

print("正在下载第{}张".format(jpg_num))

img = urllib.request.urlopen(img_uel) # 设置网络连接

img_content = img.read() # 读取网址信息

# 设置一个新的文件并将信息写入

with open(r"%s" % img_name, "wb") as f1:

f1.write(img_content)

time.sleep(random.random())

time.sleep(2)

def main():

p = pool.Pool(50) # 创建协程池

url = 'https://www.google.com/imgres?imgurl=https%3A%2F%2Fpic2.cwuzx.com%2Fe390d4d07e852ebc2de3bbbbfd08bb31db705194-800.jpg&imgrefurl=https%3A%2F%2Fwww.cwuzx.com%2Fimage%2F24.html&tbnid=VTjovih6x09TsM&vet=12ahUKEwi4n_fHm5nqAhXwzIsBHWacBQ0QMygFegUIARCrAQ..i&docid=HC2ZQVVBJ4T2qM&w=650&h=432&q=%E7%8C%AB%E5%9B%BE%E7%89%87&ved=2ahUKEwi4n_fHm5nqAhXwzIsBHWacBQ0QMygFegUIARCrAQ'

ret_list = [url for i in range(0,1000)]

# 重置列表

num = 0

my_list = []

t_start = time.time() # 设置开始时间

for img_url in ret_list:

my_list.append(p.spawn(down_load_img, img_url, "%s.jpg" % str(uuid.uuid4())))

if num == 100: # 设置想要的下载文件数量

break

num += 1

gevent.joinall(my_list) # 添加任务到协程池

t_stop = time.time() # 设置结束时间

print("下载文件一共用了：%.2f秒" % (t_stop - t_start)) # 计时

if __name__ == '__main__':

main()