cookie反爬虫应用与绕过原理

未完待续…

一，认识cookie

1，cookie

网络爬虫基础知识：HTTP和HTTPS、cookie和session。

2，django中对cookie的操作

1，获取cookie内容：

request.COOKIES.get['uuid']
request.COOKIES['uuid']

2，向响应内容中删除cookie：

return HttpResponse('hello world!')
response.delete_cookie('key')
return response

3，向响应内容中添加cookie：

return HttpResponse('hello world!')
response.set_cookie('key', 'value') 
return response

二，cookie反爬虫

1，cookie反爬虫原理

首先来看看django是如何实现cookie的操作的。
django允许向set_cookie()中添加多个参数以实现对cookie的丰富控制：

    def set_cookie(self, key, value='', max_age=None, expires=None, path='/',
                   domain=None, secure=False, httponly=False, samesite=None):
        """
        Set a cookie.
        ``expires`` can be:
        - a string in the correct format,
        - a naive ``datetime.datetime`` object in UTC,
        - an aware ``datetime.datetime`` object in any time zone.
        If it is a ``datetime.datetime`` object then calculate ``max_age``.
        """
        self.cookies[key] = value
        if expires is not None:
            if isinstance(expires, datetime.datetime):
                if timezone.is_aware(expires):
                    expires = timezone.make_naive(expires, timezone.utc)
                delta = expires - expires.utcnow()
                # Add one second so the date matches exactly (a fraction of
                # time gets lost between converting to a timedelta and
                # then the date string).
                delta = delta + datetime.timedelta(seconds=1)
                # Just set max_age - the max_age logic will set expires.
                expires = None
                max_age = max(0, delta.days * 86400 + delta.seconds)
            else:
                self.cookies[key]['expires'] = expires
        else:
            self.cookies[key]['expires'] = ''
        if max_age is not None:
            self.cookies[key]['max-age'] = max_age
            # IE requires expires, so set it if hasn't been already.
            if not expires:
                self.cookies[key]['expires'] = http_date(time.time() + max_age)
        if path is not None:
            self.cookies[key]['path'] = path
        if domain is not None:
            self.cookies[key]['domain'] = domain
        if secure:
            self.cookies[key]['secure'] = True
        if httponly:
            self.cookies[key]['httponly'] = True
        if samesite:
            if samesite.lower() not in ('lax', 'strict'):
                raise ValueError('samesite must be "lax" or "strict".')
            self.cookies[key]['samesite'] = samesite

其中有如下参数：

• key，键
• value=’ '，值
• max_age=None，超时时间，单位为秒，不设置的话，关闭浏览器就失效
• expires=None，超时时间(IE requires expires, so set it if hasn’t been already.)，单位为日期格式
• path=’/’，Cookie生效的路径。根路径的cookie可以被任何url的页面访问
• domain=None，Cookie生效的域名
• secure=False，是否使用https传输
• httponly=False，只能http协议传输，无法被JavaScript轻易获取
• samesite，samesite must be “lax” or “strict”，设置强制模式，避免CSRF攻击

在cookie反爬中通常设置max_age、expires和path，前两者用于cookie的时效控制，最后者隐藏cookie的生成过程。
但使用set_cookie()时，value需要被加密，才能实现cookie数据隐藏。为了简化设置与加密过程，django提供了set_signed_cookie()方法：

    def set_signed_cookie(self, key, value, salt='', **kwargs):
        value = signing.get_cookie_signer(salt=key + salt).sign(value)
        return self.set_cookie(key, value, **kwargs)

其中有如下参数：

• key，设置key
• value，设置value
• salt，用于配对加密处理
• kwargs，设置set_cookie中的可选参数
  set_signed_cookie()这会在请求的响应的header中设置set-cookie，浏览器解析相应发现有set-cookie后会将它保存到本地，并在以后的请求中添加这个set-cookie。
  set_signed_cookie()的加密过程由get_cookie_signer()实现：

def get_cookie_signer(salt='django.core.signing.get_cookie_signer'):
    Signer = import_string(settings.SIGNING_BACKEND)
    key = force_bytes(settings.SECRET_KEY)  # SECRET_KEY may be str or bytes.
    return Signer(b'django.http.cookies' + key, salt=salt)

其中它需要获取两处配置：

• SIGNING_BACKEND，cookie加密引擎，需要在seetings.py中进行配置。
• SECRET_KEY，安全密钥，这在项目创建成功时自动生成在settings.py中。
  set_cookie()这会在请求的响应的header中设置set-cookie，浏览器解析相应发现有set-cookie后会将它保存到本地，并在以后的请求中添加这个set-cookie。
  总结起来就是：cookie反爬虫就是对特定cookie信息进行解码与判断，解码与加密过程一致，再对信息进行有效性判断。cookie的生成过程还需要通过AJAX技术等方式进行隐藏。

2，django中cookie反爬虫的实现

index/views.py：
from django.http import Http404, HttpResponse
from django.shortcuts import render, redirect
from django.shortcuts import reverse

def index(request):
    return render(request, 'index.html') # 这里使用重定向进行隐藏。

def create(request):
    r = redirect(reverse('index:index'))
    # 添加Cookie
    r.set_signed_cookie('uuid', 'id', salt='MyDj', max_age=30)
    return r

def myCookie(request):
    cookieExist = request.COOKIES.get('uuid', '')
    if cookieExist:
        # 验证加密后的Cookies是否有效
        try:
            request.get_signed_cookie('uuid', salt='MyDj')
        except:
            raise Http404('当前Cookie无效哦！')
        return HttpResponse('当前Cookie为：' + cookieExist)
    else:
        raise Http404('当前访问没有Cookie哦！')

这里通过将内容页重定向到首页进行cookie生成的隐藏。

MyDjango/settings.py：
# 默认的Cookie加密（解密）引擎
SIGNING_BACKEND = 'django.core.signing.TimestampSigner'
# 当然也可以自定义

templates/index.html：
<!DOCTYPE html>
<html>
<body>
<div class="page-header">
    <h3>Hello Cookies</h3>
</div>
<a class='link_1' href="{% url 'index:create' %}">先创建Cookie</a>
<br>
<a class='link_2' href="{% url 'index:myCookie' %}">再查看Cookie</a>
</body>
</html>

index/urls.py：
from django.urls import path
from . import views

urlpatterns = [
    # 定义路由
    path('', views.index, name='index'),
    path('create', views.create, name='create'),
    path('myCookie', views.myCookie, name='myCookie'),
]

先清空浏览信息，再访问http://127.0.0.1:8000/，首次访问是没有生成cookie的：

创建cookie后：

再查看cookie：

超时后cookie自动失效。

三，cookie反爬虫绕过

1，开发环境准备

1，依赖于上面的django项目：

未完待续…