利用Pyspider爬取BOSS相关职位信息

最新推荐文章于 2021-02-19 10:06:46 发布

sunggff

最新推荐文章于 2021-02-19 10:06:46 发布

阅读量245

点赞数 1

分类专栏：爬虫文章标签： Python 爬虫 Pyspider

本文链接：https://blog.csdn.net/sunggff/article/details/89495749

版权

利用Pyspider爬取BOSS职位信息

pyspider初步代码


#!/usr/bin/env python
#-*- encoding: utf-8 -*-
#Created on 2019-04-23 16:01:48
#Project: boss

from pyspider.libs.base_handler import *
from pyspider.libs.WebRequest import *
from pyspider.database.mysql.mysqldb import SQL
import time,sys
reload(sys)
sys.setdefaultencoding('utf-8')


class Handler(BaseHandler):
    
    
    #职位详情
    position_list = ['大数据']
    
    #北京、上海、广州、深圳、成都
    #['c101010100','c101020100','c101280100','c101280600','c101270100']
    city_list = ['c101270100']
    
    #代理设置
    proxy = get_home_proxy()
    
    crawl_config = {
    	#请求消息头
        "headers": header()
    }
    
    
    @every(minutes=72 * 60)
    def on_start(self):
        for city in self.city_list:
            for position in self.position_list:
                for work_year in range(102,108):