之前做过这个的单进程版本。这次使用多进程来实现~
爬取广州所有停车场数据(Python)
大家可以对比着看一下,在原来的单进程爬虫的基础进行改进而得到的产品。
import requests
import os
import json
import multiprocessing
import time
def getAllJson(Session, data, headers):
url = 'http://219.136.133.163:8000/Pages/Commonpage/AsyGetData.asmx/GetParkList'
res = Session.post(url, data=data, headers=headers)
res.encoding = 'utf-8'
with open(