使用multiprocessing创建多进程
结合爬虫知识来讲多进程
import multiprocessing
import time
from urllib.parse import urlencode
import json
import requests
import os
#需要使用多进程的函数
def process(page):
# 请求头
headers = {
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'Content-Length': '2',
'Content-Type': 'application/json',
'Host': 'gs.amac.org.cn',
'Origin': 'http://gs.amac.org.cn',
'Referer': 'http://gs.amac.org.cn/amac-infodisc/res/cancelled/manager/index.html',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
}
#构造url网址
params = {
'rand': 0.6741269895006476,
'page': page,
'size': 100,
}
base_url = 'http://gs.amac.org.cn/amac-infodisc/api/cancelled/manager?'
url = base_url + urlencode(params)
# post 方法,将 Request Payload 的信息转换成 json 格式然后提交
r = requests.post(url,headers=headers,data=json.dumps({}))
if r.status_code == 200:
data=r.json()
#循环提取数据字段信息
for i in data.get('content'):
userTenantId=i.get('userTenantId')
managerName = i.get('orgName')
managerCode = i.get('orgCode')
orgSignDate = i.get('orgSignDate')
timeArray1 = time.localtime(orgSignDate/1000)
sign_date = time.strftime("%Y-%m-%d", timeArray1)
cancelDate = i.get('cancelDate')
timeArray2 = time.localtime(cancelDate/1000)
cancel_Date=time.strftime("%Y-%m-%d", timeArray2)
status=i.get('status')
if status==100:
cancel_type='主动注销'
elif status==200:
cancel_type = '依公告注销'
elif status==300:
cancel_type = '协会注销'
print(userTenantId,managerName,managerCode,sign_date,cancel_Date,cancel_type,time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time())))
print("Process:%d" % page)
if __name__ == '__main__':
start = time.time()
for i in range(10):
pp = multiprocessing.Process(target=process, args=(i,))
pp.start()
# pp.join() # 等待子进程结束后,再往下执行
print('CPU核心数量:' + str(multiprocessing.cpu_count())) # 查看当前机器CPU核心数量
end = time.time()
print("耗时%f" % (end - start))
# 目前所有的运行的进程
for p in multiprocessing.active_children():
print('子进程名称: ' + p.name + ' id: ' + str(p.pid))
print('进程结束')
注意事项
Process 类用来描述一个进程对象。创建子进程的时候,只需要传入一个执行函数和函数的参数即可完成 Process 示例的创建。
star() 方法启动进程,
join() 方法实现进程间的同步,等待所有进程退出。
close() 用来阻止多余的进程涌入进程池 Pool 造成进程阻塞。
multiprocessing.Process(group=None, target=None, name=None, args=(), kwargs={}, *, daemon=None)
target 是函数名字,需要调用的函数
args 函数需要的参数,以 tuple 的形式传入