Scrapy框架分析ajax爬取腾讯招聘网站所有有关python的招聘信息并保存到mongoDB数据库

本次爬取网站的链接：https://careers.tencent.com/
第一步：
在搜索框输入我们想要爬取职位的关键信息 如python c/c++ 点击搜索

第二步：
来到相关职位信息的页面

第三步：
在页面任何地方点击右键，再点击检查 然后点击network 会出现如下页面

点击刷新后 如图

点击新出现内容的第二行 进入如下页面

我们想要的数据就在Data里 然后点击Headers找到我们需要的url如图

图片中Request URL对应的我们要找的url ,对这个url发送请求就能得到我们这个页面里的数据然后进行解析就可以了，我这次以爬取5页为例，你们若想爬取全站修改一下参数就可以了
Scrapy代码：

import scrapy
import json
import time
class QiushiSpider(scrapy.Spider):
    name =