Selenium-webdriver绕开反爬虫机制的4种方法

       之前爬美团外卖后台的时候出现的问题，各种方式拖动验证码都无法成功，包括直接控制拉动，模拟人工轨迹的随机拖动都失败了，最后发现只要用chrome driver打开页面，哪怕手动登录也不可以，猜测driver肯定是直接被识别出来了。一开始尝试了改user agent等方式，仍然不行，由于其他项目就搁置了。今天爬淘宝生意参谋又出现这个问题，经百度才知道原来chrome driver的变量有一个特征码，网站可以直接根据特征码判断，经百度发现有4种方法可以解决，记录一下自己做的尝试。

1、mitproxy拦截请求 √

本质上就是在响应中利用mitproxy将包含的webdriver的JS中的关键字替换成其他的字符

1. 给本机设置代理ip 127.0.0.1端口8001（为了让所有流量走mitmproxy）具体方法请百度。
2. 启动mitmproxy。

windows：

mitmdump -p 8001

3. 打开chrome的开发者工具，查各个.js文件，是否存在driver字样，最终找到需要的.js文件。

4. 干扰脚本

def response(flow): 
    	if '/js/yoda.' in flow.request.url:
        for webdriver_key in ['webdriver', '__driver_evaluate', '__webdriver_evaluate', '__selenium_evaluate', '__fxdriver_evalu