scrapy+redis增量爬虫

scrapy适合一次性爬取全站，如果我想多次爬取，主目录页面难免会出现重复，去重增量爬取就很有必要了。
我在网上搜到了这样的文章scrapy+redis增量爬取,
逻辑是前一次存取每次爬过的url进数据库，这一次在pipeline中再把数据库中已爬url读取存进redis里，然后比对这次爬的item里的url，一样就不存。

看了这个逻辑，我觉得核心思想有道理，用redis键值比对，不过，更优化的逻辑应该是我先比对url，重复的url直接不request，而不是还去request-response-获取到item到pipeline再来处理。

所以文章的逻辑都对，只是筛选位置不对，应该放在spider里。

import scrapy
from pyquery import PyQuery as pq from rscrapydouban.items import RscrapydoubanItem import sqlite3 import redis import pandas as pd class JianshuCrawler(scrapy.Spider): name = 'jianshu' start_urls =['https://www.jianshu.com/users/3a2f7a33a8cc/timeline'] def parse(self, response): self.conn = sqlite3.connect('jianshu.sqlite') self.cur = self.conn.cursor() redis_db = redis.Redis(host='127.0.0.1', port='6379') redis_data_dict = "dup_url" redis_db.flushdb() sql = 'select url from js' df = pd.read_sql(sql, self.conn) self.conn.commit() self.conn.close() if len(df['url']): for url in df['url'].tolist(): redis_db.hset(redis_data_dict, url, 0) res = pq(response.body) for title in res('#list-container .title').items(): urlpa ='https://www.jianshu.com'+title.attr('href') if redis_db.hexists(redis_data_dict, urlpa): pass else: yield scrapy.Request(urlpa,callback=self.parse_detai) def parse_detail(self,response): res = pq(response.body) jsitems = RscrapydoubanItem() jsitems['name'] = res('.article .title').text() jsitems['url'] =response.url return jsitems 

Redis相关的有三条：
redis_db.flushdb()清空数据库db，这是粗暴的解决方案，可以保证每次都能把所有的url都放入，假如也是增量添加的话，可以考虑在item中添加一项flag，已表示这次新增的量，每次读取数据库得到flag只添加flag相同的项，然后flag+1为这次的项。但是数据io一个也是读，一堆也是读，所以我倒觉得这样url的增量无关紧要吧。

redis_db.hset(redis_data_dict, url, 0)
这个是把url作为keys存入redis，至于values无所谓
redis_db.hexists(redis_data_dict, urlpa)
判断url是否存在了

反思：
1.初始request的额外需求应该可以放在spider中间件中的process_start_requests,但是然后剩查重还是要在spider里，这里又要再连接一次数据库感觉有些麻烦，故全部放在spider。

2.增量我觉得有两种，一种就是上面说的，每次爬的url不一样，想从不同页面继续爬。比方说简书里新增一篇文章就有一个新的url，比如什么值得买虽然page1的内容永远是新的，但是每个div里的内容页面确是独一无二的。
一种是每次新增的内容在相同的页面里，比如文章的修改，或者论坛的评论之类的，这种可能就要在pipeline里来去重了。

作者：ddm2014
链接：https://www.jianshu.com/p/b9e975133877
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

转载于:https://www.cnblogs.com/zbllly/p/10283903.html