今天学到的新知识,开发爬虫的过程中使用Selenium + Chromedriver 也能很轻松的被js识别。
例:
使用下面这一段代码启动Chrome窗口:
from selenium import webdriver
import time
driver = webdriver.Chrome()
time.sleep(300)
driver.quit()
在这个窗口中打开开发者工具,并定位到Console选项卡,现在,在这个窗口输入如下的js代码:
window.navigator.webdriver
开发者工具返回了 true
但是,如果打开一个普通的Chrome窗口,执行相同的命令,可以发现返回值为undefined,如下图所示。
所以,如果网站通过js代码获取这个参数,返回值为undefined说明是正常的浏览器,返回 true 说明用的是Selenium模拟浏览器。
这里给出一个检测Selenium的js代码例子:
webdriver = window.navigator.webdriver;
if(webdriver){
console.log('你以为使用Selenium模拟浏览器就没事了?')
} else {
console.log('正常浏览器')
}
网站只要在页面加载的时候运行这个js代码,就可以识别访问者是不是用的Selenium模拟浏览器。如果是,就禁止访问或者触发其他反爬虫的机制。
那么对于这种情况,在爬虫开发的过程中如何防止这个参数告诉网站你在模