一、介绍
持久化存储操作分为两类:磁盘文件和数据库。
而磁盘文件存储方式又分为:基于终端指令和基于管道
二、基于终端指令的持久化存储
Scrapy是通过 scrapy 命令行工具进行控制的。 这里我们称之为 “Scrapy tool” 以用来和子命令进行区分。 对于子命令,我们称为 “command” 或者 “Scrapy commands”。
1、保证parse方法返回一个可迭代类型的对象(存储解析到的页面内容)
改写parse方法,让方法返回值为迭代器。
class QiubaiproSpider(scrapy.Spider):
name = 'qiubaipro'
# allowed_domains = ['www.qiushibaike.com/text'] # 图片等信息可能不属于指定域名之下
start_urls = ['https://www.qiushibaike.com/text/'] # 注意修改默认协议头
def parse(self, response):
# 建议使用xpath来执行指定内容的解析(Scrapy已经集成好了xpath解析的接口)
# 段子的内容和作者
div_list = response.xpath('//div[@id="content-left"]/div')
# 存储解析到的页面数据
data_list = []
for div in div_list:
author = div.xpath('./div/a[2]/h2/text()').extract_first() # './'表示解析当前局部div; a[2]表示第二个a标签
content = div.xpath('.//div[@class="content"]/span/text()').extract_first() # './/'表示当前局部所有元素;@class匹配类属性
dict = {
'author': author,
'content': content
}
data_list.append(dict)
# parse方法的返回值必须是迭代器或空
return data_list
2、使用终端指令完成数据存储到指定磁盘文件中
执行输出指定格式进行存储:将爬取到的数据写入不同格式的文件中进行存储。
常用文件格式:json、xml、csv、txt等。
# scrapy crawl 爬虫文件名称 -o 磁盘文件.后缀
$ scrapy crawl qiubaipro -o qiubai.csv --nolog
$ ls
firstBlood qiubai.csv readme.md scrapy.cfg
3、csv持久化存储效果
三、基于管道的持久化存储
scrapy框架中已经为我们专门集成好了高效、便捷的持久化操作功能,我们直接使用即可。
1、持久化需要的项目文件
想使用scrapy的持久化操作功能,我们首先来认识如下两个文件:
items.py:数据结构模板文件,定义数据属性。存储解析到的页面数据
pipelines.py:管道文件。接收数据(items),进行持久化存储的相关操作。
2、持久化实现流程
- 爬虫文件爬取到数据后,需要将数据封装到items对象中。
- 使用yield关键字将items对象提交给pipelines管道进行持久化操作。
- 在管道文件中的process_item方法中接收爬虫文件提交过来的item对象,然后编写持久化存储的代码将item对象中存储的数据进行持久化存储
- settings.py配置文件中开启管道
3、代码示例
(1)将解析到的数据值(author和content)存储到items对象(存储前先声明item属性)
在爬虫文件qiubaipro.py中引入了项目的items.py文件中的FirstbloodItem类。
# -*- coding: utf-8 -*-
import scrapy
from firstBlood.firstBlood.items import FirstbloodItem
class QiubaiproSpider(scrapy.Spider):
name = 'qiubaipro'
# allowed_domains = ['www.qiushibaike.com/text'] # 图片等信息可能不属于指定域名之下
start_urls = ['https://www.qiushibaike.com/text/'] # 注意修改默认协议头
def parse(self, response):
div_list = response.xpath('//div[@id="content-left"]/div')
# 存储解析到的页面数据
data_list = []
for div in div_list:
author = div.xpath('./div/a[2]/h2/text()').extract_first()
content = div.xpath('.//div[@class="content"]/span/text()').extract_first()
# 1、将解析到的数据值(author和content)存储到items对象(存储前先声明item属性)
item = FirstbloodItem()
item['author'] = author
item['content'] = content
注意:
1)解析的数据存储到items对象前要先声明item属性。
2)items.py文件内容配置如下:
import scrapy
class FirstbloodItem(scrapy.Item):
# 必须遵从如下属性声明规则
# name = scrapy.Field()
# 声明item属性
author = scrapy.Field() # 存储解析到的作者
content = scrapy.Field() # 存储解析到的内容信息
(2)yield将item对象提交给管道进行持久化存储操作
qiubaipro.py文件中:
import scrapy
from firstBlood.items import FirstbloodItem
class QiubaiproSpider(scrapy.Spider):
def parse(self, response):
"""省略代码"""
for div in div_list:
"""省略代码"""
# 2、yield将item对象提交给管道进行持久化存储操作
yield item
(3)在管道文件(pipelines.py)中编写代码完成数据存储的操作
class FirstbloodPipeline(object):
fp = None
def open_spider(self, spider):
"""
该方法只会在爬虫开始爬数据的时候被调用一次
:param spider:
:return:
"""
print("开始爬虫")
# 在该方法中打开文件
self.fp = open('./qiubai_pipe.txt', 'w', encoding='utf-8')
def process_item(self, item, spider):
"""
接收爬虫文件中提交的item对象,并对item对象中存储的页面数据进行持久化存储
每当爬虫文件向管道提交一次item,porcess_item方法就会执行一次
:param item: 表示接收到的item对象
:param spider:
:return:
"""
# 取出Item对象中存储的数据值
author = item['author']
content = item['content']
# 将item对象中存储的数据进行持久化存储
# with open('./qiubai_pipe.txt', 'w', encoding='utf-8') as fp:
self.fp.write(author + ":" + content+ '\n\n\n') # 写入数据
return item
def close_spider(self, spider):
"""
该方法只会在爬虫结束时被调用一次
:param spider:
:return:
"""
print("爬虫结束")
# 关闭文件
self.fp.close()
注意:
1)每当爬虫文件向管道提交一次item,process_item方法就会执行一次,因此最后输出的爬虫结果只保存了最后一次打开写入的数据,前面的数据均被覆盖。
2)使用open_spider方法特性:只会在爬虫开始爬数据的时候被调用一次。可解决多次打开文件的问题。
3)使用close_spider方法特性:只会在爬虫结束时被调用一次。可在爬虫结束后关闭文件。
(4)在配置文件(settings.py)中开启管道操作
# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'firstBlood.pipelines.FirstbloodPipeline': 300, # 优先级
}
(5)执行爬虫操作
$ scrapy crawl qiubaipro --nolog
四、基于数据库的持久化存储
1)创建爬虫项目和爬虫应用:
# 创建项目
$ scrapy startproject qiubaiDB
# 切换到项目目录,创建爬虫应用
$ scrapy genspider qiubaiMysql www.qiushibaike.com/text
$ scrapy genspider qiubaiRedis www.qiushibaike.com/text
2)settings.py配置文件(同pip):
# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' # 伪装请求载体身份
# Obey robots.txt rules
ROBOTSTXT_OBEY = False # 不遵从门户网站robots协议,避免某些信息爬取不到
# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'qiubaiDB.pipelines.QiubaidbPipeline': 300, # 注意这里需要取消注释(不能替换)
}
3)items.py中声明属性:
import scrapy
class QiubaidbItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
# 声明属性
author = scrapy.Field()
content = scrapy.Field()
1、基于数据库编码流程
- 将解析到的页面数据存储到items对象
- 使用yield关键字将items提交给管道文件进行处理
- 在管道文件中编写代码完成数据存储的操作
- 在配置文件中开启管道操作
2、基于mysql的管道存储
(1)创建数据库
# 登录数据库
$ mysql -uroot -p1234
# 创建qiubai数据库
mysql> create database qiubai;
mysql> use qiubai
Database changed
# 创建qiubai表
mysql> create table qiubai(
-> author varchar(50),
-> content varchar(1000)
-> );
Query OK, 0 rows affected (0.13 sec)
(2)编写qiubaiMysql.py:
# -*- coding: utf-8 -*-
import scrapy
from qiubaiDB.items import QiubaidbItem
class QiubaimysqlSpider(scrapy.Spider):
name = 'qiubaiMysql'
# allowed_domains = ['www.qiushibaike.com/text'] # 图片等信息可能不属于指定域名之下
start_urls = ['https://www.qiushibaike.com/text/'] # 注意修改默认协议头
def parse(self, response):
# 段子的内容和作者
div_list = response.xpath('//div[@id="content-left"]/div') # 使用xpath来执行指定内容的解析
for div in div_list:
# 通过xpath解析到的指定内容被存储到了selector对象中
# 需要通过extract()方法来提取selector对象中存储的数据值
author = div.xpath('./div/a[2]/h2/text()').extract_first() # './'表示解析当前局部div; a[2]表示第二个a标签
content = div.xpath('.//div[@class="content"]/span/text()').extract_first() # './/'表示当前局部所有元素;@class匹配类属性
# 创建item对象
item = QiubaidbItem()
# 数据值写入item对象中
item['author'] = author
item['content'] = content
# 提交给管道(循环几次就提交几次)
yield item
(3)编写pipelines.py:
import pymysql
class QiubaidbPipeline(object):
conn = None # 连接对象声明为全局属性
cursor = None # 游标对象
def open_spider(self, spider):
print("开始爬虫")
# 连接数据库
self.conn = pymysql.connect(host='127.0.0.1', port=3306,
user='root', password='1234', db='qiubai') # 注意端口是整数不是字符串
def process_item(self, item, spider):
"""
编写向数据库中存储数据的相关代码
:param item:
:param spider:
:return:
"""
# 1、连接数据库:open_spider()
# 2、执行sql语句
sql = 'insert into qiubai values("%s", "%s")' % (item['author'], item['content'])
self.cursor = self.conn.cursor() # 创建游标对象
try:
self.cursor.execute(sql) # 执行sql语句
# 3、提交事务
self.conn.commit()
except Exception as e:
# 出现错误的时候:打印错误并回滚
print(e)
self.conn.rollback()
return item
def close_spider(self, spider):
print("爬虫结束")
self.cursor.close() # 关闭游标
self.conn.close() # 关闭连接对象
(4)执行爬虫程序
$ scrapy crawl qiubaiMysql --nolog
# 查看数据库
$ mysql -uroot -p1234
mysql> use qiubai
mysql> select * from qiubai;
3、基于redis数据库存储
(1)编写爬虫文件:qiubaiRedis.py
import scrapy
from qiubaiDB.items import QiubaidbItem
class QiubairedisSpider(scrapy.Spider):
name = 'qiubaiRedis'
allowed_domains = ['www.qiushibaike.com/text']
start_urls = ['https://www.qiushibaike.com/text/'] # 注意修改默认协议头
def parse(self, response):
# 段子的内容和作者
div_list = response.xpath('//div[@id="content-left"]/div') # 使用xpath来执行指定内容的解析
for div in div_list:
# 通过xpath解析到的指定内容被存储到了selector对象中
# 需要通过extract()方法来提取selector对象中存储的数据值
author = div.xpath('./div/a[2]/h2/text()').extract_first() # './'表示解析当前局部div; a[2]表示第二个a标签
content = div.xpath('.//div[@class="content"]/span/text()').extract_first() # './/'表示当前局部所有元素;@class匹配类属性
# 一、创建item对象
item = QiubaidbItem()
# 数据值写入item对象中
item['author'] = author
item['content'] = content
# 二、提交给管道(循环几次就提交几次)
yield item
(2)重新编写pipelines.py
import redis
import json
class QiubaidbPipeline(object):
conn = None # 声明全局连接对象
def open_spider(self, spider):
print("开始爬虫")
# 连接redis数据库
self.conn = redis.Redis(host='127.0.0.1', port=6379)
def process_item(self, item, spider):
"""编写向redis中存储数据的相关代码"""
dic = { # dic中封装item对象中获取的页面数据
'author': item['author'],
'content': item['content']
}
dic_str = json.dumps(dic) # 转为字符串(执行时,要求转化为byte\string\number)
# redis数据库写入
self.conn.lpush('data', dic_str) # 每一次获取的值追加到列表当中
return item
(3)执行爬虫查看结果
redis的安装部署和服务启动方法详见:
Redis介绍
$ scrapy crawl qiubaiRedis --nolog
# 启动redis客户端
$ pwd
/Users/hqs/redis-5.0.2
$ src/redis-cli
127.0.0.1:6379> lrange data 0 -1 # 返回列表中指定区间内的元素;START:0 表示列表的第一个元素;END:-1 表示列表的最后一个元素
五、将数据分别存储到磁盘、redis、mysql中(管道高级操作)
如果最终需要将爬取到的数据一份存储到磁盘文件,一份存储到redis数据库,一份保存在mysql数据库中。
1、修改配置管道文件pipelines.py
需要在管道文件中编写对应平台的管道类:
# Mysql版本
import pymysql
class QiubaiMysqlPipeline(object):
conn = None # 连接对象声明为全局属性
cursor = None # 游标对象
def open_spider(self, spider):
print("开始爬虫")
# 连接数据库
self.conn = pymysql.connect(host='127.0.0.1', port=3306,
user='root', password='1234', db='qiubai')
def process_item(self, item, spider):
"""
编写向数据库中存储数据的相关代码
:param item:
:param spider:
:return:
"""
# 1、连接数据库:open_spider()
# 2、执行sql语句
sql = 'insert into qiubai values("%s", "%s")' % (item['author'], item['content'])
self.cursor = self.conn.cursor() # 创建游标对象
try:
self.cursor.execute(sql) # 执行sql语句
# 3、提交事务
self.conn.commit()
except Exception as e:
# 出现错误的时候:打印错误并回滚
print(e)
self.conn.rollback()
return item
def close_spider(self, spider):
print("爬虫结束")
self.cursor.close() # 关闭游标
self.conn.close() # 关闭连接对象
# redis版本
import redis
import json
class QiubaidbPipeline(object):
conn = None # 声明全局连接对象
def open_spider(self, spider):
print("开始爬虫")
# 连接redis数据库
self.conn = redis.Redis(host='127.0.0.1', port=6379)
def process_item(self, item, spider):
"""编写向redis中存储数据的相关代码"""
dic = { # dic中封装item对象中获取的页面数据
'author': item['author'],
'content': item['content']
}
dic_str = json.dumps(dic) # 转为字符串
# redis数据库写入
# lpush:从左往右添加元素。在key对应list的头部添加字符串元素
self.conn.lpush('data', dic_str) # 每一次获取的值追加到列表当中
return item
# 文件保存
class QiubaiByFilesPipeline(object):
"""实现将数据值存储到本地磁盘中"""
fp = None
def open_spider(self, spider):
print("开始爬虫")
# 在该方法中打开文件
self.fp = open('./qiubai_pipe.txt', 'w', encoding='utf-8')
def process_item(self, item, spider):
# 取出Item对象中存储的数据值
author = item['author']
content = item['content']
# 持久化存储
self.fp.write(author + ":" + content+ '\n\n\n') # 写入数据
return item
def close_spider(self, spider):
print("爬虫结束")
# 关闭文件
self.fp.close()
2、settings.py中开启管道操作
在配置文件中对自定义的管道类进行生效操作:
# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = { # 数值多少无所谓,数值大小代表优先级顺序: 500>400>300
'qiubaiDB.pipelines.QiubaidbPipeline': 300, # redis
'qiubaiDB.pipelines.QiubaiMysqlPipeline': 500, # mysql
'qiubaiDB.pipelines.QiubaiByFilesPipeline': 400 # 文件
}
六、递归爬取解析多页页面数据
1、多页爬取需求分析
需求:将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储。
需求分析:每一个页面对应一个url,则scrapy工程需要对每一个页码对应的url依次发起请求,然后通过对应的解析方法进行作者和段子内容的解析。
2、实现方案
- 将每一个页码对应的url存放到爬虫文件的起始url列表(start_urls)中。(不推荐)
- 使用Request方法手动发起请求。(推荐)
3、项目创建
$ pwd
/Users/hqs/ScrapyProjects
$ scrapy startproject qiubaiByPages
New Scrapy project 'qiubaiByPages', using template directory '/Users/hqs/anaconda3/lib/python3.7/site-packages/scrapy/templates/project', created in:
/Users/hqs/ScrapyProjects/qiubaiByPages
You can start your first spider with:
cd qiubaiByPages
scrapy genspider example example.com
$ cd qiubaiByPages/
$ scrapy genspider qiubai www.qiushibaike.com/text
Created spider 'qiubai' using template 'basic' in module:
qiubaiByPages.spiders.qiubai
4、单url编码实现(准备工作)
(1)爬虫文件:qiubai.py
import scrapy
from qiubaiByPages.items import QiubaibypagesItem
class QiubaiSpider(scrapy.Spider):
name = 'qiubai'
# allowed_domains = ['www.qiushibaike.com/text'] # 允许的域名(很多网页不在域名下)
start_urls = ['https://www.qiushibaike.com/text/'] # 默认消息头是http,这里手动调整
def parse(self, response):
div_list = response.xpath('//*[@id="content-left"]/div')
for div in div_list:
author = div.xpath('./div[@class="author clearfix"]/a[2]/h2/text()').extract_first() # selector对象
content = div.xpath('.//div[@class="content" ]/span/text()').extract_first()
# 将解析的数据值存储到items对象中
item = QiubaibypagesItem()
item["author"] = author
item["content"] = content
# 将item对象提交给管道文件
yield item
(2)数据存储模板:items.py文件
import scrapy
class QiubaibypagesItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
author = scrapy.Field()
content = scrapy.Field()
(3)数据持久化处理:pipelines.py
class QiubaibypagesPipeline(object):
fp = None
def open_spider(self, spider):
print("开始爬虫")
self.fp = open('./qiubai.txt', 'w', encoding="utf-8")
def process_item(self, item, spider):
self.fp.write(item['author']+ ":" + item['content'])
return item
def close_spider(self, spider):
self.fp.close()
print("爬虫结束")
(4)配置文件:settings.py
# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' # 伪装请求载体身份
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = { # 开启管道
'qiubaiByPages.pipelines.QiubaibypagesPipeline': 300,
}
5、请求手动发送实现多url数据爬取
修改爬虫文件:qiubai.py
import scrapy
from qiubaiByPages.items import QiubaibypagesItem
class QiubaiSpider(scrapy.Spider):
name = 'qiubai'
# allowed_domains = ['www.qiushibaike.com/text'] # 允许的域名(很多网页不在域名下)
start_urls = ['https://www.qiushibaike.com/text/'] # 默认消息头是http,这里手动调整
# 设计通用的url模板
url = 'https://www.qiushibaike.com/text/page/%d' # 分页的通用格式
pageNum = 1
def parse(self, response):
div_list = response.xpath('//*[@id="content-left"]/div')
for div in div_list:
author = div.xpath('./div[@class="author clearfix"]/a[2]/h2/text()').extract_first() # selector对象
content = div.xpath('.//div[@class="content" ]/span/text()').extract_first()
# 将解析的数据值存储到items对象中
item = QiubaibypagesItem()
item["author"] = author
item["content"] = content
# 将item对象提交给管道文件
yield item
# 请求的手动发送
if self.pageNum <= 13: # 递归终止条件(13是最后一页的页码)
print('爬取到了第%d页的页面数据' % self.pageNum)
self.pageNum += 1 # 从第二个页码开始手动请求
new_url = format(self.url % self.pageNum) # 'https://www.qiushibaike.com/text/page/2/'
# scrapy.Request对指定url发请求
# callback:将请求获取到的页面数据进行解析
yield scrapy.Request(url=new_url, callback=self.parse)
注意:
1)第一页还是使用的起始url列表这个机制来进行请求发送,从第二页开始采用手动请求发送。
2)执行请求手动发送必须结合 yield 和 Request 函数一块来使用。
3)在调用scrapy.Request函数时,有一个参数叫 callback 。这是一个回调函数,会进行递归的调用。为了防止无限循环,需要设置递归终止条件。
6、执行验证
$ scrapy crawl qiubai --nolog
开始爬虫
爬取到了第1页的页面数据
爬取到了第2页的页面数据
爬取到了第3页的页面数据
爬取到了第4页的页面数据
爬取到了第5页的页面数据
爬取到了第6页的页面数据
爬取到了第7页的页面数据
爬取到了第8页的页面数据
爬取到了第9页的页面数据
爬取到了第10页的页面数据
爬取到了第11页的页面数据
爬取到了第12页的页面数据
爬取到了第13页的页面数据
爬虫结束