写爬虫的时候,经常会遇到防DDOS攻击的网站,需要在页面停留几秒后,才能正确打开首页。
本来我是用的chromedriver的headless模式,但是因为要打开一个真实的浏览器,这种做法非常的消耗资源。
后来,使用V8引擎调用javascript发现也不能很好的解决我的问题,最后在github上发现了cloudflare-scrape项目,可以成功规避掉DDOS的问题。最后附上项目的github链接
写爬虫的时候,经常会遇到防DDOS攻击的网站,需要在页面停留几秒后,才能正确打开首页。
本来我是用的chromedriver的headless模式,但是因为要打开一个真实的浏览器,这种做法非常的消耗资源。
后来,使用V8引擎调用javascript发现也不能很好的解决我的问题,最后在github上发现了cloudflare-scrape项目,可以成功规避掉DDOS的问题。最后附上项目的github链接