Django中自定义限制访问频率的反爬虫中间件

一、安装用到的Python库

pip install geoip2 redis django-redis

二、下载IP地理位置数据库，保存到项目根目录下

 链接: https://pan.baidu.com/s/1TaSQcgw4OimBrDH0ERLKKw 提取码: ixa7

 

三、自定义中间件，保存到项目根目录下的backends.py中

from random import choice
from django.conf import settings
from django.core.cache import caches
from django.contrib.gis.geoip2 import GeoIP2
from django.http import HttpResponseForbidden
from django.utils.deprecation import MiddlewareMixin

cache = caches['default']  # from django.core.cache import cache没有incr功能
geoip = GeoIP2(country='GeoLite2-Country.mmdb')  # 加载IP地理位置数据库
forbidden = '<div style="font-size:30px;">403 forbidden</div><div>%s</div>'


class ForbiddenMiddleware(MiddlewareMixin):
    def process_request(self, request):
        if not settings.OPEN_FORBIDDEN:  # 配置文件里的功能开关
            return
        ip = request.META.get('HTTP_REMOTE_ADDR', request.META['REMOTE_ADDR'])  # 获取访问者IP地址
        try:
            country = geoip.country(ip)['country_code']  # 解析访问者国别编码
            if country != 'CN':  # 屏蔽国外IP的访问
                return HttpResponseForbidden(forbidden % 'Access is denied.')
        except:
            pass

    def process_response(self, request, response):
        if not settings.OPEN_FORBIDDEN:  # 配置文件里的功能开关
            return response
        ip_address = request.META.get('HTTP_REMOTE_ADDR', request.META['REMOTE_ADDR'])  # 获取访问者IP地址
        try:
            user_tag = request.COOKIES.get(settings.CSRF_COOKIE_NAME)  # 从请求中获取cookie
            if not user_tag:
                user_tag = response.cookies[settings.CSRF_COOKIE_NAME].value  # 登陆时从响应中获取cookie
        except KeyError:
            user_tag = ip_address  # 没有cookie，即用户没有登陆，使用IP地址作为用户标记

        forbidden_ip_key = 'forbidden:ip:%s' % ip_address
        forbidden_user_key = 'forbidden:user:%s' % user_tag
        for cache_key in [forbidden_ip_key, forbidden_user_key]:  # 同时检查IP地址屏蔽和用户标记屏蔽
            forbidden_time = cache.get(cache_key)
            if forbidden_time:  # 如果被屏蔽了还继续请求
                cache.set(cache_key, forbidden_time, forbidden_time)  # 重置过期时间为初始值，延长屏蔽时间
                return HttpResponseForbidden(forbidden % '访问过于频繁，请稍候再试！')

        ip_count_key = 'count:ip:%s' % ip_address  # 同一IP地址的用户被屏蔽的次数
        user_count_key = 'count:user:%s:%s' % (user_tag, request.path)  # 同一用户在指定时间步长内的访问次数
        forbidden_user_count = settings.FORBIDDEN_USER_COUNT
        if 'HTTP_FILE_UPLOAD_NAME' in request.META:  # 文件传输的交互频率较高，频率限制调高5倍
            forbidden_user_count *= 5

        if cache.get(user_count_key, 0) > forbidden_user_count:  # 同一用户在指定时间步长内访问太多次
            forbidden_time = choice(range(settings.MIN_FORBIDDEN_TIME, settings.MAX_FORBIDDEN_TIME))  # 生成随机的屏蔽时间长度
            cache.set(forbidden_user_key, forbidden_time, forbidden_time)  # 设置屏蔽该用户
            try:
                cache.incr(ip_count_key)  # 该用户使用的IP被屏蔽的次数增加一次
            except ValueError:
                cache.set(ip_count_key, 1, settings.FORBIDDEN_IP_SECONDS)  # 还没有这个key的话设置为1
            return HttpResponseForbidden(forbidden % '访问过于频繁，请稍候再试！')
        elif cache.get(ip_count_key, 0) > settings.FORBIDDEN_IP_COUNT:  # 同一IP地址的用户被屏蔽三次后屏蔽该IP地址的访问
            forbidden_time = choice(range(settings.MIN_FORBIDDEN_TIME, settings.MAX_FORBIDDEN_TIME))  # 生成随机的屏蔽时间长度
            cache.set(forbidden_ip_key, forbidden_time, forbidden_time)  # 设置屏蔽该IP地址
            return HttpResponseForbidden(forbidden % '访问过于频繁，请稍候再试！')
        else:
            try:
                cache.incr(user_count_key)  # 该用户的访问次数增加一次
            except ValueError:
                cache.set(user_count_key, 1, settings.FORBIDDEN_USER_SECONDS)  # 还没有这个key的话设置为1
            return response

四、在项目的settings.py中启用中间件

MIDDLEWARE = [
    'myproject.backends.ForbiddenMiddleware',  # 中间件放在第一个位置
    ...
]

五、 在项目的settings.py中配置中间件用到的参数

OPEN_FORBIDDEN = True  # 是否启用屏蔽功能
MIN_FORBIDDEN_TIME = 60  # 最小屏蔽时长
MAX_FORBIDDEN_TIME = 600  # 最大屏蔽时长
FORBIDDEN_IP_SECONDS = 60  # 记录同一IP下用户被屏蔽次数的KEY的过期时间
FORBIDDEN_USER_SECONDS = 1  # 记录同一用户指定时间步长内访问次数的KEY的过期时间
FORBIDDEN_IP_COUNT = 3  # 同一IP的用户被屏蔽次数超过该值将屏蔽该IP
FORBIDDEN_USER_COUNT = 8  # 同一用户指定时间步长内访问次数超过该值将屏蔽该用户