手把手教你使用Python抓取QQ音乐数据(第一弹)

【一、项目目标】

获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。

由浅入深,层层递进,非常适合刚入门的同学练手。

【二、需要的库】

主要涉及的库有:requests、json、openpyxl

【三、项目实现】

1.了解 QQ 音乐网站的 robots 协议

只禁止播放列表,可以操作。

2.进入 QQ 音乐主页 https://y.qq.com/

3.输入任意歌手,比如邓紫棋

4.打开审查元素(快捷键 Ctrl+Shift+I)

5.分析网页源代码 Elements,发现无歌曲信息,无法使用 BeautifulSoup,如下图所示,结果为空。

6.点击 Network,看数据在不在 XHR(无刷新更新页

面),我的经验是先看 Size 最大的,然后分析 Name,

查看 Preview,果然在里面!

7.点击 Headers,拿到相关参数。如下图,仔细观察

url 与 Query String Parameters 参数的关系,发现

url 中的 w 代表歌手名,p 代表页数。

8.通过 json 代码实现,首先小试牛刀,爬取第一页

的数据,url 直接复制过来。成功!

9.引入 params 参数,实现指定歌手、指定页数的查询。

注意代码url为上一步url中“?”之前的部分, params两边的参数都需要加 ’’,requests.get 添加 params,参数(也可顺便添加 headers 参数)

  1. 添加存储功能,保存到本地(Excel)。也可保存为 csv 格式或存入数据库,操作类似。

【四、总结】

1.爬取 QQ 音乐比爬取豆瓣等网站稍难,所需信息不在网页源代码,需查看 XHR;

2.通过 XHR 爬取数据一般要使用 json,格式为:

* * * res = requests.get(url)

json = res.json()

list = json[‘’][‘’]…

3.仅供练手参考,不建议爬取太多数据,给服务器增大负载;

4.Python 爬取 QQ 音乐数据(二)将为大家带来如何爬取指定歌曲的歌词及评论(selenium),并生成词云图(wordcloud),敬请期待。

5.需要本文源码的话,请在公众号后台回复“QQ音乐”四个字进行获取。

看完本文有收获?请转发分享给更多的人

IT共享之家

入群请在微信后台回复【入群】

想学习更多Python网络爬虫与数据挖掘知识,可前往专业网站:http://pdcfighting.com/

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
串口调试助手是一种常用的工具,可以用于检验或验证串口设备的通讯功能。Python是一种免费的编程语言,可以用来写串口调试助手。 手把手你如何使用Python写串口调试助手的步骤如下: 1. 安装Python环境:Python可以在官网下载,下载完成后点击安装即可。同时要安装pyserial库,使用pip install pyserial命令即可完成安装。 2. 导入pyserial库:为了能够使用串口功能,需要导入pyserial库。导入库的命令如下: import serial 3. 设置串口参数:在打开串口之前要设置串口的参数,如波特率、数据位、校验位、停止位等等。设置的命令如下: serial.Serial(“COMx”, buadrate, bytesize, parity, stopbits) 其中,COMx是串口号,baudrate是波特率,bytesize是数据位,parity是校验位,stopbits是停止位。 4. 打开串口:打开串口之后,可以使用串口进行数据的发送和接收。打开串口的命令如下: ser = serial.Serial() ser.port = “COMx” ser.open() 5. 读取串口数据使用Python读取串口数据可以使用serial.Serial.readline()命令。 data = ser.readline() 6. 发送串口数据使用Python发送串口数据可以使用serial.Serial.write()命令。 ser.write(“data”) 7. 关闭串口:使用完串口后,要及时关闭串口,释放资源。关闭串口的命令如下: ser.close() 上述为了Python写串口调试助手的基本步骤,详细及优化功能需要根据实际情况编写代码实现。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值