python 网络爬虫——爬取小米应用商店排名前100App

啥也不多说,我们今天要爬取的是小米应用商店排名前100的App,先来看来要爬取的东西长啥样
这里写图片描述

从上面的图可以看到,左侧是一个应用排行,但是只列出了前10个,好在右边列出了更多的应用,每一页显示了48个,也就是排名前48的应用,那么我们要爬取前100个就可以通过翻页来实现。

  1. 首先我们列出这个爬虫需要用到的一些库文件
    (1)Requests: Requests is an elegant and simple HTTP library for Python, built for human beings. 处理与网页有关
    (2)re:处理正则表达式

2.第二步:分析网页结构
打开小米应用商店,找到我们要找的东西,对应的就是上图各个APP的名称以及序号。这里的序号很好解决,因为右侧的APP图标就是有序排列的。在打开的网页上按下F12,然后通过查找我们就可以找到APP的名称,如下图所示:
这里写图片描述

因为我们要pai爬排名取前100的,一般网页上不可能显示这么多,我们我们首先要看看每一页显示了多少个,小米应用商店每一页显示的是48个,所以我们需要打开前3页才能获取到前100的APP。

3.下面啥也不说,直接上代码,里面有详细的注释

<
  • 2
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值