crawlspider案例

python 爬虫中的crawlspider案例（以下载读书网数据为列）
利用scrapy中带的管道存储数据

一.打开``命令行

注意：运行scrapy的项目时需要在venv的目录下创建（我自己尝试的是，在其他地方无法调用一些库，个人所测是）

scrapy startproject  scrapy_dushuwang_3    #创建项目
cd \scrapy_dushuwang_3\scrapy_dushuwang_3\spiders    #跳转到spiders路径
scrapy genspider -t crawl du  https://www.dushu.com/book/1158.html  #创建爬虫类

2.进入pycharm中开始编写代码
（1）打开创建的du.py
修改以下部分

allowed_domains = ['www.dushu.com']  
start_urls = ['https://www.dushu.com/book/1158_1.html']   #删除html后的\，之所以在1158后加_1，要指定好第一页的链接，以防漏掉
rules = {
      Rule(LinkExtractor(allow=r'/book/1158_\d+\.html'),
          callback='parse_item',
          follow=False),

增加代码

def parse_item(self,response):
    img_list = response.xpath('//div[@class="bookslist"]//img')

    for img in img_list:
        name = img.xpath('./@alt').extract_first()
        src = img.xpath('./@data-original').extract_first()
        book = ScrapyDushuwang3Ttem(name=name,src=src)    #需到items.py中查看括号前一部分内容
        yield book

3.进入到pipelines.py中
添加代码

def open_spider(self,spider):
    self.fp = open('book.json','w',encoding='utf-8')

def process_item(self,item,spider):
    self.fp.write(str(item))
    return item

def close_spider(self,spider):
    self.fp.close()

4.在settings.py中打开item

6.测试
在cmd中运行

scrapy crawl du

会在项目中多出一个json文件


快捷键 ctrl+alt+L:将文件格式转换成json形式

不足：下载的内容不全，有一些none，网页用了懒加载，有src和data-original两种格式，代码有data-original的可是没有加上src的，尝试过，虽然没有了none，可是数据不全，还在思考中，先记录下这一部分内容。慢慢解决