pyhton学习笔记-爬虫相关-多进程同步异步的代码实现

本文为了说明例子，用中文作为变量写在了程序里面，一般编程最好不要那么写

同步(正常的情况)实现

import time


def func():
    time.sleep(5)
    print('沉睡5秒后同步调用')


if __name__ == '__main__':
    res = func()
    print('同步调用完成')

效果

多进程

windows操作系统下 创建进程一定要在main内创建
因为windows下创建进程类似于模块导入的方式会从上往下依次执行代码而linux中则是直接将代码完整的拷贝一份

方法一(使用函数)

from multiprocessing import Process
import time


def 要执行的函数(变量名):
    print('%s 正在运行'%变量名)
    time.sleep(5)
    print('%s 运行结束'%变量名)


if __name__ == '__main__':
    #创建对象
    A = Process(target=要执行的函数, args=('进程名',))#哪怕里面只有1个元素都要用逗号隔开
    
    #开启进程
    A.start()#异步
    print('主进程')

效果

方法二，使用类(类的继承)

from multiprocessing import Process
import time


class 类(Process):
    def 运行(self):
        print('开始执行')
        time.sleep(5)
        print('执行结束')


if __name__ == '__main__':
    A = 类()
    A.start()
    print('主进程')

效果

join方法的作用

from multiprocessing import Process
import time


def 要执行的函数(变量名, n):
    print('%s 正在执行'%变量名)
    time.sleep(n)
    print('%s 执行结束'%变量名)


if __name__ == '__main__':
    start_time = time.time()

    #A.join()  # 主进程等待子进程p运行结束之后再继续往后执行
    time.time()
    A_list = []
    for i in range(1, 10):
        A = Process(target=要执行的函数, args=('子进程%s'%i, i))
        A.start()
        A_list.append(A)
    for A in A_list:
        A.join()
    print('主进程所耗时间:', time.time() - start_time,'秒')

效果

进程间数据隔离的实现

from multiprocessing import Process


变量 = '这是主进程，尚未剥削，仍有 1000000'


def 要运行的函数():
    global 变量  # 局部修改全局
    变量 = '经剥削，还剩200'
    print('子进程',变量)


if __name__ == '__main__':
    p = Process(target=要运行的函数)
    p.start()
    p.join()
    print(变量)

效果