之前写了pipelines.py的一些用法:【Scrapy】Scrapy的pipelines管道使用方法 ,主要是用来处理获取数据后做的操作。
而这次介绍的items.py,它的作用主要是用来处理获取的的数据,做数据清洗用的,具体也很难一时讲清,先看代码。
1.首先我们通过ItemLoader 获取到数据
import sys
sys.path.append(r'E:\projects\python-spider')
import scrapy
from scrapy.loader import ItemLoader
from spiderJob.items import SpiderjobItem
def getUrl():
return 'https://search.51job.com/list/030200,000000,0000,00,9,99,%2520,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate&