Python爬虫实战：应用宝APP数据信息采集(1)

• app的下载次数

• app的名字

• app的开发公司

提取到页面的分类标签

获取到a标签的href属性

用于之后拼接动态地址

找到动态加载的app数据加载地址

url的值是每个分类标签的值

https://sj.qq.com/myapp/cate/appList.htm?orgame=1&categoryId=-10&pageSize=20&pageContext=undefined

拼接新的url值发送请求

简易源码分析

---

import requests # 工具包发送网络请求

from lxml import etree # 转换成对象

import csv # 处理表格数据

url = “https://sj.qq.com/myapp/category.htm?orgame=1”

response = requests.get(url)

html_data = etree.HTML(response.text)

li_list = html_data.xpath(‘//ul[@data-modname=“cates”][position()>1]/a/@href’)

del(li_list[-1])

for url1 in li_list:

for i in range(10):

new_url = “https://sj.qq.com/myapp/cate/appList.htm” + url1 + “&pageSize=20&pageContext={}”.format(i*20)

res = requests.get(new_url).json()

if res[“count”] == 0:

break

with open(“应用宝.csv”, “a”, newline=“”, encoding=“utf-8”)as f:

csv_data = csv.DictWriter(f, fieldnames=[“appName”, ‘authorName’, “apkUrl”])

for info in res[“obj”]:

appName = info[‘appName’]

authorName = info[‘authorName’]

apkUrl = info[‘apkUrl’]

print({“appName”: appName, “authorName”: authorName, “apkUrl”: apkUrl})

csv_data.writerow({“appName”: appName, “authorName”: authorName, “apkUrl”: apkUrl})

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）