scrapy-redis 分布式爬虫爬取前程无忧的岗位数据
1.爬取思路
进入’https://jobs.51job.com/zhongshan/p1/'页面,分页进行爬取,每一页中获取所有招聘岗位详情的URL
2.创建项目
scrapy startproject ping
cd ping
scrapy genspider ping 'jobs.51job.com'
3. 编辑需要爬取的数据字段
import scrapy
class ZhaopingItem(scrapy.Item):
# define the fields for your ite
原创
2020-07-12 07:39:22 ·
536 阅读 ·
3 评论