爬虫爬取裁判文书网_爬取中国裁判文书网的初步尝试——爬虫学习笔记(3)...

今天在CSDN上看了不少帖子,发现裁判文书网的爬取难度很高,据说是由国内顶尖的瑞数信息提供的防护措施,在请求参数中加入了三个加密参数,什么DES3加密直接把我看懵了。对于初学者,我们只好另找一种笨办法——selenium。

如果说requests是将我们伪装成浏览器发送请求,那么selenium就是将浏览器当做我们的提线木偶。相比requests,selenium既有优点也有缺点。优点在于selenium是直接模拟人来操作网页,不用去后台再寻找js代码,因此非常简单,而且不容易被识别;缺点是浏览器本身需要加载时间,因此网络延迟或电脑卡顿都会降低效率。

7358d444ad6e6a1f7bd32db00521f45b.png

79d4aa286f093eb5eeca1788a335af8b.png

准备阶段,首先导入selenium和time模块

创建一个谷歌浏览器,作为我们的“提线木偶”

05571f87c4a0dd05c42fd5f11332a52f.png

  • 17
    点赞
  • 62
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值