scrapy爬虫日志_2:[爬取智联招聘]

问题

1,item 报错 如下图

具体原因不去追究【实在没工夫，这框架先用着，，，，】，解决方案：在item中追加_id

代码

这个是spider板块即主体部分：***主要思路是先转为json文件，然后对json文件进行解析得到链接，再对链接进行分析爬取
Chrome打开网页->检查->network->XHR->复制Request-url  在postman（一个软件）打开即可分析json***

import scrapy
import json
from ..items import JobsItem

class NewZhilianSpider(scrapy.Spider):
    name = 'new_zhilian'
    allowed_domains = ['zhaopin.com']
    url = ['https://fe-api.zhaopin.com/c/i/sou?start={}&pageSize=90&cityId=538&salary=0,0&workExperience=-1&education=-1&companyType=-1&employmentType=-1