爬虫笔记day11

增量爬虫Redis

redis下载安装：https://blog.csdn.net/hssf_xxy/article/details/121884591

知识点补充：redis连接

import redis
r=redis.Redis(host='localhost',port=6379,db=数据库)
r.sadd('url:表','需要插入的数据')

原理：
1、redis 基于内存，效率高
2、利用redis中集合的特性，自动去重，可以轻松管理所有请求的指纹

实现思路：
1、利用集合的sadd()方法向集合中添加指纹，根据返回值来判断集合中是否存在改指纹
2、添加成功返回1，表示此请求之前并未抓取过
3、添加失败返回0，表示此请求之前已经抓取过

实现代码：

import  urllib.request
import  re
import time
import random
import  redis
from hashlib import md5
import sys

class CarSpider:
    def __init__(self):
        self.url="https://www.che168.com/beijing/a0_0msdgscncgpi1lto1csp{}exx0/"
        self.headers = {
   'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E'