多线程和进程的知识

使用multiprocessing创建多进程

结合爬虫知识来讲多进程

import multiprocessing
import time
from urllib.parse import urlencode
import json
import requests
import os

#需要使用多进程的函数
def process(page):

    # 请求头
    headers = {
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Cache-Control': 'max-age=0',
        'Connection': 'keep-alive',
        'Content-Length': '2',
        'Content-Type': 'application/json',
        'Host': 'gs.amac.org.cn',
        'Origin': 'http://gs.amac.org.cn',
        'Referer': 'http://gs.amac.org.cn/amac-infodisc/res/cancelled/manager/index.html',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
    }
    #构造url网址
    params = {
        'rand': 0.6741269895006476,
        'page': page,
        'size': 100,
    }
    base_url = 'http://gs.amac.org.cn/amac-infodisc/api/cancelled/manager?'
    url = base_url + urlencode(params)
    # post 方法，将 Request Payload 的信息转换成 json 格式然后提交
    r = requests.post(url,headers=headers,data=json.dumps({}))
    if r.status_code == 200:
        data=r.json()
        #循环提取数据字段信息
        for i in data.get('content'):
            userTenantId=i.get('userTenantId')
            managerName = i.get('orgName')
            managerCode = i.get('orgCode')
            orgSignDate = i.get('orgSignDate')
            timeArray1 = time.localtime(orgSignDate/1000)
            sign_date = time.strftime("%Y-%m-%d", timeArray1)
            cancelDate = i.get('cancelDate')
            timeArray2 = time.localtime(cancelDate/1000)
            cancel_Date=time.strftime("%Y-%m-%d", timeArray2)
            status=i.get('status')
            if status==100:
                cancel_type='主动注销'
            elif status==200:
                cancel_type = '依公告注销'
            elif status==300:
                cancel_type = '协会注销'

            print(userTenantId,managerName,managerCode,sign_date,cancel_Date,cancel_type,time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time())))

    print("Process:%d" % page)


if __name__ == '__main__':
    start = time.time()
    for i in range(10):
        pp = multiprocessing.Process(target=process, args=(i,))
        pp.start()

    # pp.join()  # 等待子进程结束后，再往下执行
    print('CPU核心数量:' + str(multiprocessing.cpu_count()))  # 查看当前机器CPU核心数量


    end = time.time()
    print("耗时%f" % (end - start))


    # 目前所有的运行的进程
    for p in multiprocessing.active_children():
        print('子进程名称: ' + p.name + ' id: ' + str(p.pid))
    print('进程结束')

注意事项
Process 类用来描述一个进程对象。创建子进程的时候，只需要传入一个执行函数和函数的参数即可完成 Process 示例的创建。
star() 方法启动进程，
join() 方法实现进程间的同步，等待所有进程退出。
close() 用来阻止多余的进程涌入进程池 Pool 造成进程阻塞。

multiprocessing.Process(group=None, target=None, name=None, args=(), kwargs={}, *, daemon=None)
target 是函数名字，需要调用的函数
args 函数需要的参数，以 tuple 的形式传入