在爬虫时,因为selenium弊端过于明显,所以最近在学习新技术pyppeteer
我在爬取51job时,当数据抓取次数达到一定程度后,页面会跳出滑块验证,所以我采用mouse方法进行模拟,也加入了很多随机因子尽量模拟人手的行为,结果虽然验证成功,但是之后跳出的页面还是滑块验证,就这样进入了一个死循环。所以我只能每次跳出验证时用人工的方式通过验证
想请问一下各位大佬,我是如何被检测出来的,有什么办法能解决问题呢?
在爬虫时,因为selenium弊端过于明显,所以最近在学习新技术pyppeteer
我在爬取51job时,当数据抓取次数达到一定程度后,页面会跳出滑块验证,所以我采用mouse方法进行模拟,也加入了很多随机因子尽量模拟人手的行为,结果虽然验证成功,但是之后跳出的页面还是滑块验证,就这样进入了一个死循环。所以我只能每次跳出验证时用人工的方式通过验证
想请问一下各位大佬,我是如何被检测出来的,有什么办法能解决问题呢?