PyCharm写你的scrapy项目(苦笑T_T!!)

PyCharm需要的前提:

1.首先你要有个pycharm这个软件,其次你要在pycharm上安装scrapy包 和 python 包

Scrapy 项目书写:

1.创建你的scrapy 项目 在pycharm的Terminal 界面输入 scrapy startproject 项目名称

2.进入你的项目 cd 项目名称！ 创建爬虫 scrapy genspider 爬虫名字 域名

3.这样就形成了下面的scrapy项目结构

>scrapy startproject guazi
>cd guazi
>scrapy genspider ErCar

其中各个文件有每个文件的作用 settings.py 设置你的各种需求中间键什么的

item.py 是写你的需要爬取的各个参数

middlewares.py 是写你的中间键

pipelines.py 获取的数据的存储形式

ErCar.py 写你的爬虫！ nice !

开始搞我们的爬虫吧！

首先是item.py  我爬取得是瓜子 就是获取 名称 网络地址 基础基本展示信息 价格

接下来就写爬虫吧！Y_Y！

from guazi.item import GuaziItem

# 获取内容
def parse(self, response):
   item = GuaziItem()
   uls = response.css('ul.carlist.clearfix.js-top')
   try:
       for li in uls[0].css('li'):
           # 获取车名字
           item['CarInformation'] = li.css('h2::text').extract()[0].replace(' ','-')
           item['CarUrl'] ="https://www.guazi.com"+li.css('a::attr(href)').extract()[0]
           item['CarData'] = '-'.join(li.css('div[class=t-i]::text').extract())
           item['CarPrice'] = li.css('p::text').extract()[0]
           yield item
   except IndexError as IE:
       # 如果获取失败 在爬取一次
       yield scrapy.Request(response.url, callback=self.parse)

接下来写 pipelines.py

class GuaziPipeline(object):
    def __init__(self):
        # 存入yyy.json 文件中
        self.filename = open('yyy.json','ab+')

    def process_item(self, item, spider):
        # 获取的数据转换成字典写入
        text = json.dumps(dict(item),ensure_ascii=False) + ';\n'
        self.filename.write(text.encode('utf-8'))
        return item


    def close_spider(self,spider):
        self.filename.close()

可能这样的话 就可以去开启爬虫啦

>scrapy crawl ErCar
2019-01-08 17:15:02 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: guazi)
....
2019-01-08 17:15:02 [ErCar] INFO: Spider opened: ErCar
2019-01-08 17:15:02 [ErCar] INFO: Spider opened: ErCar
....

已经在运行啦！这样会文件夹中形成一个json 文件

{"CarInformation": "比亚迪-2017款-2.0T-唐100", "CarUrl": "https://www.guazi.com/qd/d7c25e234cc85f96x.htm#fr_page=list&fr_pos=city&fr_no=0", "CarData": "2018年-0.3万公里-店内直卖", "CarPrice": "19.07"};
{"CarInformation": "Jeep-大切诺基-2012款-3.6L-周年导航版(进口)", "CarUrl": "https://www.guazi.com/wh/fc4da853b7f5d914x.htm#fr_page=list&fr_pos=city&fr_no=1", "CarData": "2013年-7.6万公里-店内直卖", "CarPrice": "21.27"};
....

很棒! 如果瓜子是静态网页的话！

实际并不是这样 瓜子的数据是js动态加载的 所以去寻找  scrapy_splash 吧

scrapy_splash 就是为了解决scrapy 能爬取动态数据的包！

然而scrapy_splash的安装也不是那么一番风顺的！

要是有兴趣请点击 ！>_<!!　https://blog.csdn.net/qq_41412011/article/details/86086656