今天在CSDN上看了不少帖子,发现裁判文书网的爬取难度很高,据说是由国内顶尖的瑞数信息提供的防护措施,在请求参数中加入了三个加密参数,什么DES3加密直接把我看懵了。对于初学者,我们只好另找一种笨办法——selenium。
如果说requests是将我们伪装成浏览器发送请求,那么selenium就是将浏览器当做我们的提线木偶。相比requests,selenium既有优点也有缺点。优点在于selenium是直接模拟人来操作网页,不用去后台再寻找js代码,因此非常简单,而且不容易被识别;缺点是浏览器本身需要加载时间,因此网络延迟或电脑卡顿都会降低效率。
![79d4aa286f093eb5eeca1788a335af8b.png](https://img-blog.csdnimg.cn/img_convert/79d4aa286f093eb5eeca1788a335af8b.png)
准备阶段,首先导入selenium和time模块
创建一个谷歌浏览器,作为我们的“提线木偶”
来