五种方法教你快速绕过5s盾反爬

1、第一种方式使用cloudscraper绕过

import cloudscraper
# 创建一个Cloudscraper实例，设置延迟和模拟的浏览器环境
scraper = cloudscraper.create_scraper(delay=5, browser={
    'browser': 'chrome',
    'platform': 'linux',
    'mobile': False,
})
resp = scraper.get('https://toppsta.com/books/series/29278/national-geographic-kids-readers-level-1',
                   # proxies={'http': 'http://127.0.0.1:10809', 'https': 'http://127.0.0.1:10809'}
                   )
## 打印响应的文本和状态码
print(resp.text)
print(resp.status_code)

2、第二种方式使用curl_cffi绕过

from curl_cffi import requests as cffi_requests
res = cffi_requests.get('https://toppsta.com/books/series/29278/national-geographic-kids-readers-level-1', impersonate='chrome110', timeout=10)
print(res.text)
print(res.status_code)

3、第三种方式通过DrissionPage自动化库绕过

# 过五秒盾反爬
from DrissionPage import ChromiumPage, ChromiumOptions
import platform
from loguru import logger

if platform.system().lower() == 'windows':
    co = ChromiumOptions().set_paths(browser_path=r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe")
    value = '确认您是真人'
else:
    co = ChromiumOptions().set_paths(browser_path=r"/opt/google/chrome/google-chrome")
    value = 'Verify you are human'
    co.headless(True)   # 设置无头加载  无头模式是一种在浏览器没有界面的情况下运行的模式，它可以提高浏览器的性能和加载速度
    co.incognito(True)  # 无痕隐身模式打开的话，不会记住你的网站账号密码的
    co.set_argument('--no-sandbox')  # 禁用沙箱 禁用沙箱可以避免浏览器在加载页面时进行安全检查,从而提高加载速度 默认情况下，所有Chrome 用户都启用了隐私沙盒选项  https://zhuanlan.zhihu.com/p/475639754
    co.set_argument("--disable-gpu")  # 禁用GPU加速可以避免浏览器在加载页面时使用过多的计算资源，从而提高加载速度
    co.set_user_agent(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36')  # 设置ua


browser = ChromiumPage(co)  # 创建对象
browser.set.window.max()
browser.get("https://cn.airbusan.com/content/common/customercenter/noticeList", retry=3, interval=2, timeout=15)   # 访问网

logger.info(f"user_agent is {browser.user_agent}")
browser.wait(2)
for i in range(20):
    if browser.ele(f'x://input[@value="{value}"]', timeout=3):
        logger.warning(f"retry {i+1} times, Verify you are human click now")
        browser.ele(f'x://input[@value="{value}"]').click()
        browser.wait(2)
    if not browser.cookies(as_dict=True).get('cf_clearance'):
        logger.error(f"retry {i+1} times, browser_cookie is {browser.cookies(as_dict=True)}")
        continue
    else:
        logger.success(f"retry {i+1} times, browser_cookie is {browser.cookies(as_dict=True)}")
        break
# with open(r"./ccc.html", "w") as f:
#     f.write(browser.html)
browser.wait(2)
browser.wait.ele_displayed('x://td[@class="subject"]/a', timeout=3)
for tr in browser.eles('x://div[@class="boardList mgt60"]//tr', timeout=3)[1:]:
    tds = [td.text for td in tr.eles("x://td", timeout=3)]
    detail_url = tr.ele('x://td[@class="subject"]/a').attr('href')
    logger.info(f"list_page_company is {tds} , a_href is {detail_url}")
# 对整页截图并保存
# browser.get_screenshot(path=r'./headless_False.png', full_page=True)
browser.get_screenshot(path=r'./headless_True.png', full_page=True)
browser.quit()

4、使用开源项目CloudFlare5sBypass

CloudFlare5sBypass

相关文章链接：https://mp.weixin.qq.com/s/NZej8tbY6Hau6STH_xmYsQ