Python项目实战:爬取AES加密的全国建筑市场信息

今天又来分享下我的爬虫实战案例了。

很多人看到这种网站就怂了,觉得这种网站爬不了,但其实这种网站的数据是公开大众可见的,并没有个人隐私数据,爬一爬也是没问题的,那么该怎么爬呢?

图片

可以看到,这个数据已进行加密,我们先了解清楚是哪里加密了。我们可以通过XHR断点的形式去进行查找。

图片

在这个红色框住的地方可以随便复制一段

图片

把复制的内容粘贴上去,找到它加密的位置

图片

点击翻页,进行触发

图片

成功断住

图片

再通过调用堆栈去一个一个查找加密位置,这个时候就得细心了,得慢慢找,感兴趣的小伙伴可以自行去查找,我们直接来看代码

图片

这里是Python代码,还是一样的操作,添加请求头、Host、防盗链、Cookie,加上之后正常对网址发送请求,从第14行开始就是来读取我们所写的js文件,接下来,我们看看js文件是怎么操作的。

图片

Js文件其实就是把它加密的位置全都复制粘贴下来,复制粘贴下来之后进行打印输出

图片

数据已经出来啦,只需要写入Python文件中就能获取到我们想要的数据了。

需要注意一点的是:

图片

框住的地方,这个网站会进行更改,所以还是建议大家自己去实操一遍哦。

  • 18
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值