最近好多小伙伴说想搞个项目实战类的,我就花了一点时间做了一个爬虫项目(在代码复制的时候可能会有点问题,缩格一下就没有问题了)
想要获取更多源码或者答疑或者或者交流学习可以加群:725479218
# -*- coding:utf-8 -*- from function.data_tool import clean_data
import hashlib
import furl.furl
from crawlers.downloader import Downloaderfrom
function.parse_tool import xpath_parsefrom
function.database_tool import auto_sqlseve
down=Downloader(proxy='http://104.224.138.224:8888/proxy')
a = {'吉林': '22', '河北': '13', '陕西': '61', '山西': '14', '青海': '63', '湖南': '43', '广东': '44', '安徽': '34', '四川': '51',
'江西': '36', '浙江': '33', '贵州': '52', '新疆': '65', '内蒙古': '15', '西藏': '54', '江苏': '32