【Scrapy】CrawlSpider 单页面Ajax爬取
项目目标
爬取拉勾网职位列表基本信息+职位描述
项目思考
拉勾网的招聘岗位列表,这是Ajax异步加载的。
我想把岗位列表所显示的信息爬取下来,同时还需要岗位的工作详情。
爬取流程就是一开始就不断获取职位列表的json,然后从json中提取对应的职位详情页,再进去爬取其职位描述。
使用Scrapy的scrapy.Spider基础爬虫模板很简单就可以实现,直接重载编写parse方法,再加上个回调方法就...
原创
2018-11-12 11:59:27 ·
1068 阅读 ·
0 评论