利用scrapy爬取某汽车网站经销商店信息

最新推荐文章于 2022-07-19 17:22:16 发布

GZ_Wiilian

最新推荐文章于 2022-07-19 17:22:16 发布

阅读量792

点赞数

分类专栏： python笔记文章标签： python爬虫 scrapy

本文链接：https://blog.csdn.net/GZ_Wiilian/article/details/81053941

版权

本文介绍了一个使用Python的Scrapy框架进行的爬虫项目，目标是抓取某个汽车网站上的经销商店铺信息，提供了相关代码示例。

摘要由CSDN通过智能技术生成

最近做一个爬虫项目，爬取经销商店信息，随附代码

import scrapy
from scrapy.http import Request
from dealer.items import DealerItem


class XcarSpider(scrapy.Spider):
    name = "xcar"
    allowed_doma  = ["xcar.com.cn"]
    start_urls = [
        'http://dealer.xcar.com.cn/d1/',
        'http://dealer.xcar.com.cn/d24/',
        'http://dealer.xcar.com.cn/d4/',
        'http://dealer.xcar.com.cn/d33/',
        'http://dealer.xcar.com.cn/d19/',
        'http://dealer.xcar.com.cn/d12/',
        'http://dealer.xcar.com.cn/d31/',
        'http://dealer.xcar.com.cn/d30/',
        'http://dealer.xcar.com.cn/d22/',
        'http://dealer.xcar.com.cn/d8/',
        'http://dealer.xcar.com.cn/d21/',
        'http://dealer.xcar.com.cn/d34/',
        'http://dealer.xcar.com.cn/d5/',
        'http://dealer.xcar.com.cn/d20/',
        'http://dealer.xcar.com.cn/d25/',
        'http://dealer.xcar.com.cn/d32/',
        'http://dealer.xcar.com.cn/d7/',
        'http://dealer.xcar.com.cn/d6/',
        'http://dealer.xcar.com.cn/d13/',
        'http://dealer.xcar.com.cn/d9/',
        'http://dealer.xcar.com.cn/d16/',
        'http://dealer.xcar.com.cn/d23/',
        'http://dealer.xcar.com.cn/d11/',
        'http://dealer.xcar.com.cn/d17/',
        'http://dealer.xcar.com.cn/d10/',
        'http://dealer.xcar.com.cn/d2/',
        'http://dealer.xcar.com.cn/d3/',
        'http://dealer.xcar.com.cn/d14/',
        'http://dealer.xcar.com.cn/d15/',