软件测试|web自动化测试神器playwright教程（三十九）

前言

在我们的日常工作中，有时候会需要对网站上的数据进行爬取，但是有的网站的反爬机制会判断我们是否是使用webdriver打开的浏览器，一旦判定我们是使用webdriver打开的浏览器的话，就会使得我们无法抓取到我们想要的数据，或者是我们无法使用webdriver打开的浏览器登录到我们想要登录的网站，但是playwright提供了一个方法，让我们进行设置，逃过这一个反爬机制。

window.navigator.webdriver属性

大部分情况下，网站都是通过这个属性来判断我们是否使用了webdriver来打开浏览器的，如果我们是手动打开的浏览器，那么该属性为false，如下图：

但是用webdriver打开的浏览器，就会显示为true，如下图：

通常情况下，我们只需要能够将webdriver打开的浏览器的属性修改为false，就可以绕过这个反爬检测。

使用 Playwright 设置 window.navigator.webdriver

下面我们来介绍一下如何设置window.navigator.webdriver该属性，假设我们要访问一个网站，代码如下：

import asyncio
from playwright.async_api import async_playwright

async def set_navigator_property():
    async with async_playwright() as p:
        browser = await p.chromium.launch()
        page = await browser.new_page()

        # 设置 window.navigator.webdriver 属性为 false
        await page.evaluate('''() => {
            Object.defineProperty(navigator, 'webdriver', {
                get: () => false
            });
        }''')

        await page.goto('https://example.com')  # 替换为目标网站的 URL
        await asyncio.sleep(10)  # 这里可以等待页面加载完毕后再继续操作

        # 在此处可以执行你的爬取操作

        await browser.close()

if __name__ == "__main__":
    asyncio.run(set_navigator_property())

在这个示例中，我们首先导入 Playwright，然后使用 async_playwright来创建一个浏览器实例。在浏览器页面上，我们使用 page.evaluate 方法来设置 window.navigator.webdriver 属性为 false。接下来，我们通过 page.goto 方法打开目标网站，并在页面加载完成后执行我们的爬取操作。

注：设置 window.navigator.webdriver 属性为 false 可能会绕过一些网站的反爬检测，但并不是所有网站都会依赖这个属性来检测自动化程序。

总结

Playwright 是一个强大的工具，可以帮助你绕过网站反爬检测，并执行自动化的网站爬取操作。但请务必谨慎使用，遵守法律和网站的规定。