简介
很多时候我们需要抓取的网站大多数都需要登录,而登陆的时候又是一大堆的难题,需要滑动验证码,点选验证码,缺口验证码等多种手段来阻止反爬
此时呢,我们通常都会使用selenium自动化工具来实现自动处理滑动验证码,selenium是一款优秀的WEB自动化测试工具,由于现在很多大型网站对selenium工具进行检测,例如我们这次要说的-淘宝,如果用selenium模拟登陆则会被判定为机器人,访问被拒绝,所以我们首先就是要防止被检测出为机器人。
思路
关于 Selenium 被识别问题,目前有很多方案,包括使用 JS 修改 window.navigator.webdriver的值,或者呢使用pyppeteer库来处理window.navigator.webdriver其实都不够简洁。
目前要说的方案还是使用Selenium,但是在 Selenium 的启动参数中指定以开发者模式启动,window.navigator.webdriver 的值将和正常值无异
在启动Chromedriver之前,为Chrome开启开发者模式excludeSwitches
,它的值为['enable-automation']
,代码如下:
![8c89fd7d4487053c6da4e9d19c6d9cb9.png](https://i-blog.csdnimg.cn/blog_migrate/47ebdebd3e8fe611430163697d5c3d9b.jpeg)
效果图:
![ee7815988bb3a56333ca15d7aaddd37a.png](https://i-blog.csdnimg.cn/blog_migrate/a9749b4be6bc8efd44e3b729c69b0408.png)
剩下的就编写自己的登录逻辑,通过微博进行登录就可以了
关注博主持续更新