大家好,我是阿爬!这里是讲述阿爬和阿三爬虫故事的爬友圈
作为一个爬虫开发工程师,大家都知道
逆向是非常耗时、耗神的,而且涉及的知识面也非常广,对于开发的时间成本也比较高,那么相比之下自动化框架的爬虫就会有一定的优势,本期就做一个自动化爬虫分享,而且个人觉得这个自动化框架也非常强大。
一、使用它的原因
本期的目标网站是:eWFvamlhbmp1CiA=;众所周知这个网站的最大的反爬就是rs,并且也在不断的升级,目前的版本好像是6
在此之前也曾尝试过用selenium去做自动化爬虫,发现网站对selenium做了很多特征检测,导致使用selenium开发的时间成本也增加了。于是现在换一个自动化框架来绕过rs的反爬,提升开发效率。最近也是一个偶然的机会接触到了它,据说没有任何selenium的特征,就像来试一试看是否能轻松获取到数据,其次再看看效率如何。
使用它的原因:
1、能过特征检测。
2、各个标签之间cookie能共享;
<