最近做一个爬虫项目,爬取经销商店信息,随附代码
import scrapy from scrapy.http import Request from dealer.items import DealerItem class XcarSpider(scrapy.Spider): name = "xcar" allowed_doma = ["xcar.com.cn"] start_urls = [ 'http://dealer.xcar.com.cn/d1/', 'http://dealer.xcar.com.cn/d24/', 'http://dealer.xcar.com.cn/d4/', 'http://dealer.xcar.com.cn/d33/', 'http://dealer.xcar.com.cn/d19/', 'http://dealer.xcar.com.cn/d12/', 'http://dealer.xcar.com.cn/d31/', 'http://dealer.xcar.com.cn/d30/', 'http://dealer.xcar.com.cn/d22/', 'http://dealer.xcar.com.cn/d8/', 'http://dealer.xcar.com.cn/d21/', 'http://dealer.xcar.com.cn/d34/', 'http://dealer.xcar.com.cn/d5/', 'http://dealer.xcar.com.cn/d20/', 'http://dealer.xcar.com.cn/d25/', 'http://dealer.xcar.com.cn/d32/', 'http://dealer.xcar.com.cn/d7/', 'http://dealer.xcar.com.cn/d6/', 'http://dealer.xcar.com.cn/d13/', 'http://dealer.xcar.com.cn/d9/', 'http://dealer.xcar.com.cn/d16/', 'http://dealer.xcar.com.cn/d23/', 'http://dealer.xcar.com.cn/d11/', 'http://dealer.xcar.com.cn/d17/', 'http://dealer.xcar.com.cn/d10/', 'http://dealer.xcar.com.cn/d2/', 'http://dealer.xcar.com.cn/d3/', 'http://dealer.xcar.com.cn/d14/', 'http://dealer.xcar.com.cn/d15/',