seleuium 禁止检测_如何突破网站对selenium的屏蔽

使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案，它通吃各种数据加载方式，能够绕过客户JS加密，绕过爬虫检测，绕过签名机制。它的应用，使得许多网站的反采集策略形同虚设。由于selenium不会在HTTP请求数据中留下指纹，因此无法被网站直接识别和拦截。

这是不是就意味着selenium真的就无法被网站屏蔽了呢？非也。selenium在运行的时候会暴露出一些预定义的Javascript变量(特征字符串)，例如"window.navigator.webdriver"，在非selenium环境下其值为undefined，而在selenium环境下，其值为true(如下图所示为selenium驱动下Chrome控制台打印出的值)。

除此之外，还有一些其它的标志性字符串(不同的浏览器可能会有所不同)，常见的特征串如下所示：

webdriver

__driver_evaluate

__webdriver_evaluate

__selenium_evaluate

__fxdriver_evaluate

__driver_unwrapped

__webdriver_unwrapped

__selenium_unwrapped

__fxdriver_unwrapped

_Selenium_IDE_Recorder

_selenium

calledSelenium

_WEBDRIVER_ELEM_CACHE

ChromeDriverw

driver-evaluate

webdr