python 爬虫中的crawlspider案例(以下载读书网数据为列)
利用scrapy中带的管道存储数据
一.打开``命令行
注意:运行scrapy的项目时需要在venv的目录下创建(我自己尝试的是,在其他地方无法调用一些库,个人所测是)
scrapy startproject scrapy_dushuwang_3 #创建项目
cd \scrapy_dushuwang_3\scrapy_dushuwang_3\spiders #跳转到spiders路径
scrapy genspider -t crawl du https://www.dushu.com/book/1158.html #创建爬虫类
2.进入pycharm中开始编写代码
(1)打开创建的du.py
修改以下部分
allowed_domains = ['www.dushu.com']
start_urls = ['https://www.dushu.com/book/1158_1.html'] #删除html后的\,之所以在1158后加_1,要指定好第一页的链接,以防漏掉
rules = {
Rule(LinkExtractor(allow=r'/book/1158_\d+\.html'),
callback='parse_item',
follow=False),
增加代码
def parse_item(self,response):
img_list = response.xpath('//div[@class="bookslist"]//img')
for img in img_list:
name = img.xpath('./@alt').extract_first()
src = img.xpath('./@data-original').extract_first()
book = ScrapyDushuwang3Ttem(name=name,src=src) #需到items.py中查看括号前一部分内容
yield book
3.进入到pipelines.py中
添加代码
def open_spider(self,spider):
self.fp = open('book.json','w',encoding='utf-8')
def process_item(self,item,spider):
self.fp.write(str(item))
return item
def close_spider(self,spider):
self.fp.close()
4.在settings.py中打开item
6.测试
在cmd中运行
scrapy crawl du
会在项目中多出一个json文件
快捷键 ctrl+alt+L:将文件格式转换成json形式
不足:下载的内容不全,有一些none,网页用了懒加载,有src和data-original两种格式,代码有data-original的可是没有加上src的,尝试过,虽然没有了none,可是数据不全,还在思考中,先记录下这一部分内容。慢慢解决