python线程、进程、线程池、进程池、协程的使用方式及模板

线程

首先需要明白的概念就是线程是CPU调度的基本单位，而进程则是CPU资源分配的基本单位，因此在实际使用中一般创建的是线程而不是进程，但是进程与线程的创建与使用其实并没有区别

一般有两种方法：

• 方法一就是直接通过Thread创建一个新的线程
• 方法二是通过继承Thread类，然后重写该类的run方法

两种方法在调用的时候都是一样的，直接通过t.start()直接调用就行，在你调用start方法的时候，会将线程状态设置为就绪，在CPU空闲之后会开始执行该线程，调用写好的run方法

from threading import Thread

def func(name):
    for i in range(100):
        print(name, i)

def thread_test():
    t = Thread(target=func)
    t.start()

    for i in range(1000):
        print("main", i)

class MyThread(Thread):
    def run(self):
        for i in range(100):
            print("func", i)

def inherit_thread():
    t = MyThread()
    t.start()

    for i in range(1000):
        print("main", i)

if __name__ == '__main__':
    # 使用自带的线程库进行线程操作
    thread_test()
    
    # 继承线程库并重写run方法
    inherit_thread()

进程

对于进程来说和线程是一模一样的，只需要把Thread换成Process就行

from multiprocessing import Process

def func(name):
    for i in range(100):
        print(name, i)

def process_test():
    p = Process(target=func)
    p.start()

    for i in range(1000):
        print("main", i)

class MyProcess(Process):
    def run(self):
        for i in range(100):
            print("func", i)

def inherit_process():
    p = MyProcess()
    p.start()

    for i in range(1000):
        print("main", i)

if __name__ == '__main__':
    # 使用自带的进程库进行进程操作
    process_test()
    
    # 继承进程库并重写run方法
    inherit_process()

线程库

使用线程库可以很好的避免线程的不断创建与销毁，提升程序的效率，在使用的时候只需要创建一个固定的大小的线程池，然后不断的为其提交任务即可

from concurrent.futures import ThreadPoolExecutor

def thread_pool():
    with ThreadPoolExecutor(50) as f:
        for i in range(100):
            f.submit(func, name=f"线程{i}")
            
if __name__ == '__main__':
    # 线程库的使用
    thread_pool()

进程库

进程库和线程库也是一模一样的

from concurrent.futures import ProcessPoolExecutor

def process_pool():
    with ProcessPoolExecutor(50) as p:
        for i in range(100):
            p.submit(func, name=f"线程{i}")
            
if __name__ == '__main__':
    # 进程库的使用
    process_pool()

协程

协程的使用就是在程序进行IO进入到阻塞状态的时候让程序去执行其他任务，是一个异步执行的模式，因此很多同步的功能在这里会很不一样，这里给出一个在爬虫常用的一个模板

import asyncio

async def download(url):
    """模拟下载数据"""
    print(f"{url} 开始下载")
    await asyncio.sleep(2)
    print(f"{url} 下载完成")

async def async_test():
    urls = [
        "http://www.baidu.com",
        "http://www.bilibli.com",
        "http://www.google.com"
    ]
    tasks = [asyncio.create_task(download(url)) for url in urls]
    await asyncio.wait(tasks)

if __name__ == '__main__':
    t1 = time.time()
    # 协程的使用
    asyncio.run(async_test())
    print(time.time() - t1)