实现思路
1、利用redis缓存抓取过的网页地址
2、利用中间件实现网页是否请求的判断逻辑
3、使用scrapy的close_spider函数主动停止爬虫
爬虫部分
import scrapy
from redis.client import Redis
class Test(scrapy.Spider):
name = "test"
count = 0
repeat_count = 0
base_urls = [
]
conn = Redis(host="127.0.0.1", port=6379, db=1)
def start_requests(self):
# 初始页
urls = [
]
for url in urls:
yield scrapy.FormRequest(url=url, callback=self.parse, method='GET')
def parse(self, response: HtmlResponse):
# 解析逻辑
pass
这里可以抽出一个基类,redis连接换成连接池,其他爬虫继承该基类实现复用。
中间件部分
from utils.redis_helper import is_exist
class DownloaderMiddleware(object):
# 参数介绍:
# request:响应对象对应的请求对象
# spider:爬虫文件中对应的爬虫类的实例
def process_request(self, request, spider):
if spider.base_urls and (request.url in spider.base_urls):
return None
ex = is_exist(spider.conn, request.url)
print(f'spider repeat count -> {spider.repeat_count}')
if spider.repeat_count > 10:
print("该网站无需更新,爬虫结束 ...")
spider.crawler.engine.close_spider(spider, '关闭爬虫')
if ex == 1:
print("该url还未被爬取,可以进行数据爬取")
return None
else:
print("该url已被爬取,暂无更新数据")
spider.repeat_count += 1
return None
这里的base_urls用于过滤一些不需要考虑去重网页例如网站的第一页,可以不使用
管道部分
import arrow
import pymongo
from SpiderMan import settings
from utils.redis_helper import set_val
class ProcurementSaveMongoPipeline:
def process_item(self, item, spider):
set_val(spider.conn, item["ori_url"])
# 此处省略存储逻辑
return item
当入库成功后才算抓取成果,此时再将链接存入redis中
注: redis理论上可以存入2^32个key,但官方推荐存入2.5亿,已经满足我的需求,如果这里不满足可以换其他数据库。