scrapy实现去重爬虫

第一种、使用set（）来去重只适合单次爬取

# 导入异常处理模块
from scrapy.exceptions import DropItem

class spiderNamePipeline(object):
    def __init__(self):          　　#建立构造方法
        self.title = set()       　　#定义集合
    def process_item(self, item, spider):
        title = item['title']    　　#取出要进行判断数据是否重复的字段
        if title in self.title:  　　#如果存在集合中则直接删除该项，后边的代码不再执行
            raise DropItem('{}已存在'.format(title)) 
       	self.title.add(title)       #如果数据不重复，则加入集合
        ......                      #插库数据 写在这里即可。。。

        return item

第二种、使用redis实现去重

import mysql.connector
import pandas as pd  #用来读MySQL
import redis 
redis_db = redis.Redis(host='127.0.0.1', port=6379, db=4) #连接redis，相当于MySQL的conn
redis_data_dict = "f_url"  #key的名字，写什么都可以，这里的key相当于字典名称，而不是key值。


class DuplicatesPipeline(object):
    conn = mysql.connector.connect(user = 'root', password='yourpassword', database='dbname', charset='utf8')    

    def __init__(self):
        redis_db.flushdb() #删除全部key，保证key为0，不然多次运行时候hlen不等于0，刚开始这里调试的时候经常出错。
        if redis_db.hlen(redis_data_dict) == 0: #
            sql = "SELECT url FROM your_table_name;"  #从你的MySQL里提数据，我这里取url来去重。
            df = pd.read_sql(sql, self.conn) #读MySQL数据
            for url in df['url'].get_values(): #把每一条的值写入key的字段里
                redis_db.hset(redis_data_dict, url, 0) #把key字段的值都设为0，你要设成什么都可以，因为后面对比的是字段，而不是值。


    def process_item(self, item, spider):
        if redis_db.hexists(redis_data_dict, item['url']): #取item里的url和key里的字段对比，看是否存在，存在就丢掉这个item。不存在返回item给后面的函数处理
             raise DropItem("Duplicate item found: %s" % item)

        return item```


重点说一下，虽然redis是一个键值对应的数据库，但这里为了速度用的是哈希(hash)，和一般的字典不一样，比一般的字典多了个字段。详细可以看这个[教程](http://www.runoob.com/redis/redis-hashes.html)，重点看hexists，hset，hlen，hgetall这几个，在终端里运行一下就明白了。教程里都是命令行运行，和python里的用法稍微有点不一样。

redis哈希结构：
结构：key field(字段) value
对应：redis_data_dict   url(实际的url)   0(代码里设置成了0)
而item里key是'url' value是实际的url
######相当于用key(redis_data_dict)的字段(url)来对比item['url']的值，存在为1(true)，不存在就是0(false)，我开始也是这里晕的，后来打印出来才明白了。

如果要用：
把conn数据库连接换成自己的
修改sql语句，df['url']
然后把item['url']换成自己的，就可以了。

可以在程序中间加入print，把每一步打印出来，看数值是什么就容易懂了。

感谢这位小伙伴的分享

scrapy结合redis实现增量爬取