Jon的博客

原创 基于上篇博客，利用Re + Requests爬取国家统计局70w城乡数据信息！改进方案：深度优化递归函数+threading +Queue多线程提高爬取效率 ！

import re import requests import threading import csv import time import queue as Queue start = time.time() g_writecount = 0 exist_url = [] all_url = [] def GetUrls1(url,depth = 1): #先用该深度优化递归函数获取一...