Python 爬虫绕过服务器端验证

田小涛

已于 2023-02-27 18:20:51 修改

阅读量748

点赞数

分类专栏： Python 文章标签：爬虫绕验证 Powered by 金山文档

于 2023-02-27 18:09:50 首次发布

本文链接：https://blog.csdn.net/Q718330882/article/details/129246849

版权

Python 专栏收录该内容

11 篇文章 1 订阅

订阅专栏

文章描述了当Python爬虫访问modakawa.com时遇到的问题，原因是站点启用了服务器防护。为解决此问题，文章提供了一个自定义的CipherAdapter类，该类修改了加密套件并挂载到请求会话中，同时设置了User-Agent头，以成功发送请求并获取页面内容。

摘要由CSDN通过智能技术生成

情景再现

Python 爬虫请求链接：https://www.modakawa.com/products/sports-high-rise-waistband-2-in-1-shorts?variant=ea7bfab8-695c-4ab8-9b32-52c7163590ff

返回以下页面HTML信息

原因描述

该问题主要是由于站点【modakawa.com】运营商开启服务器防护导致。

解决方式

开启请求会话并且挂载适配器

import requests
import json
from requests.adapters import HTTPAdapter
from urllib3.util.ssl_ import create_urllib3_context

class CipherAdapter(HTTPAdapter):
    def init_poolmanager(self, *args, **kwargs):
        context = create_urllib3_context(ciphers='DEFAULT:@SECLEVEL=2')
        kwargs['ssl_context'] = context
        return super(CipherAdapter, self).init_poolmanager(*args, **kwargs)

    def proxy_manager_for(self, *args, **kwargs):
        context = create_urllib3_context(ciphers='DEFAULT:@SECLEVEL=2')
        kwargs['ssl_context'] = context
        return super(CipherAdapter, self).proxy_manager_for(*args, **kwargs)

url = 'https://www.modakawa.com/products/sports-high-rise-waistband-2-in-1-shorts?variant=ea7bfab8-695c-4ab8-9b32-52c7163590ff'
client = requests.Session()
client.mount( url, CipherAdapter())
client.headers["User-Agent"] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36"
resp = client.get(url)
client.close()

result =json.loads( resp.content )
print( result )