爬虫实例分析——壁纸网

本文详细介绍了使用Python爬虫从壁纸网站下载图片的全过程,包括接口寻找、URL分析、源码获取与解析、图片下载以及解决URL转义问题。作者通过实践分享了爬取过程中遇到的问题及解决方案,适合初学者学习。
摘要由CSDN通过智能技术生成

本次实例为本人独自完成

首先,我选定了某壁纸网,至于为啥,还不是因为高清无码,这不香嘛?

1、接口寻找

此步骤是我从之前就强调过的,非常非常非常重要的!步骤。(主要还是我找到了,找不到我也就不会发出来了)

在这里插入图片描述
这里还是很容易就找到了接口的位置,也看到了相应的信息,最重要的是看到了图片的地址!而我们需要的就是这个地址,有了这个地址就可以下载了。
提示

  1. 这里刚进入网页检查后可能在Network中找不到任何关于页面的信息,此时可以在检查模式下进行页面的刷新,就可以看到信息了。
  2. 对于找接口方面,我一般喜欢在XHR中找。对于相对简单的网页来说,接口大部分情况下是在这里的,如果找不到,可以去ALL里面排查寻找。但是这样就比较难找,因为有很多混淆的信息存在。这些还是需要自己多练习的。

这里的网站是:https://ss.netnr.com/wallpaper

2、URL分析

我们找到了接口,接下来就是对url进行分析。因为此网站没有上下页,只能通过翻滚的形式查看更多的图片(其实对于这个,也算是另一种形式的翻页)。对页面进行翻滚,可以看到接口在不断的变多。
在这里插入图片描述
如果自己去操作的话,可以看到,我所框出来了,这些都是接口。为什么?
因为,这里的翻页,算是有新的页面信息加载出来,加载出相应的新的图片页面。这证明了什么?
说明,每次翻页之后,其中的URL是不同的,我可以来验证一下。没图就没有说服力!
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
我再把三个url贴出来。
第一张图

https://bird.ioliu.cn/v2?url=http%3A%2F%2Fwallpaper.apc.360.cn%2Findex.php%3Fc%3DWallPaper%26start%3D1%26count%3D12%26from%3D360chrome%26a%3DgetAppsByCategory%26cid%3D30

第二张图

https://api.zme.ink/cors/http%3A%2F%2Fwallpaper.apc.360.cn%2Findex.php%3Fc%3DWallPaper%26start%3D13%26count%3D12%26from%3D360chrome%26a%3DgetAppsByCategory%26cid%3D30

第三张图

https://api.zme.ink/cors/http%3A%2F%2Fwallpaper.apc.360.cn%2Findex.php%3Fc%3DWallPaper%26start%3D25%26count%3D12%26from%3D360chrome
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值