【Pyppeteer】如何避开网站的反爬检测

【问题描述】

有些网站的反爬机制是很强的,不仅网络请求中的参数经过 JS 加密,甚至还针对一些常用的爬虫工具,如 Selenium 作了屏蔽。

比如前段时间我爬取的卫健委官网,反爬机制就相当变态(传送门:Python网络爬虫实战:卫健委官网数据的爬取)。

本文教你如何设置 Pyppeteer 来完美地避开这些反爬机制的检测。

 

【解决方法】

方法一:在导入 launch 之前 把 --enable-automation 禁用 防止监测webdriver

from pyppeteer import launcher
# 在导入 launch 之前 把 --enable-automation 禁用 防止监测webdriver
launcher.AUTOMATION_ARGS.remove("--enable-automation")

这种方法在网上很多博客中都有写,不过我在使用这种方法的时候, 运行报错。

module 'pyppeteer.launcher' has no attribute 'AUTOMATION_ARGS'

不知道大家运行是不是也是这样,如果有成功的,可以在评论区分享一下这种方法使用的正确姿势。 

 

方法二:直接在 launcher 脚本中注释掉  --enable-automation 参数

 launcher.py 脚本位置 

(你自己的Python安装路径)\Python37_64\Lib\site-packages\pyppeteer\launcher.py

然后打开脚本,注释掉 --enable-automation ,保存即可。

 这种方法是我在方法一的基础上想到的,既然无法在代码中移除该参数,那么就在它的源码中注释掉,哈哈。

 

方法三:通过执行 js 脚本,把 webdriver 的值设置为 false,也可以避免被反爬检测。

await page.evaluateOnNewDocument('() =>{ Object.defineProperties(navigator,'
        '{ webdriver:{ get: () => false } }) }')

下面放一段测试代码,亲测确实可行:

import asyncio
from pyppeteer import launch

url = 'http://www.nhc.gov.cn/xcs/yqtb/list_gzbd.shtml'
 
async def fetchUrl(url):
    browser = await launch({'headless': False,'dumpio':True, 'autoClose':False})
    page = await browser.newPage()
    await page.evaluateOnNewDocument('() =>{ Object.defineProperties(navigator,'
                      '{ webdriver:{ get: () => false } }) }')
    await page.goto(url)

asyncio.get_event_loop().run_until_complete(fetchUrl(url))

 

大家还有没有知道其他绕过反爬机制检测的方法,欢迎在评论区一起交流分享!

 


如果文章中有哪里没有讲明白,或者讲解有误的地方,欢迎在评论区批评指正,或者扫描下面的二维码,加我微信,大家一起学习交流,共同进步。

©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页