电商网站反爬策略

1、电商网站反爬
电商网站的反爬策略是非常严格的。爬虫用selenium访问电商网站时会出现验证码，但是通过不了。原来是很多网站对selenium有严格检测。检测是不是$cdc_asdjflasutopfhvcZLmcfl 、navigator.webdriver等这些特俗标志。当然我们也可以通过这个在电商网站的JS中看到相关的检测代码信息：
在控制台下输入以下命令window.navigator.webdriver会发现和正常的浏览器打开的有所不同
2、修改selenium
正常的浏览器都会检测到selenium。这时就需要设置开发者模式，避免目标网站检测出selenium或者修改浏览器的webdriver
3、启用代理
配置上亿牛云代理的方式

启动时设置上游代理服务器

代理服务器地址、端口、用户名、密码请替换成自己的

mitmproxy --mode=upstream:http://t.16yun.cn:31111 --upstream-auth=username:password
代码demo：

<?php // 要访问的目标页面 $url = "http://httpbin.org/ip"; $urls = "https://httpbin.org/ip"; // 代理服务器(产品官网 www.16yun.cn) define("PROXY_SERVER", "tcp://t.16yun.cn:31111"); // 代理身份信息 define("PROXY_USER", "username"); define("PROXY_PASS", "password"); $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS); // 设置 Proxy t