Python爬虫项目分享一：《爬取周杰伦的歌曲清单》

最新推荐文章于 2024-09-03 16:47:21 发布

ff876409866

最新推荐文章于 2024-09-03 16:47:21 发布

阅读量5.3k

点赞数 8

分类专栏： python爬虫文章标签： python爬虫

本文链接：https://blog.csdn.net/ff876409866/article/details/102514834

版权

本文介绍了使用Python爬虫抓取周杰伦歌曲清单的过程，通过分析浏览器的Network面板，理解XHR的应用，最终实现代码爬取。

摘要由CSDN通过智能技术生成

python爬取周杰伦的歌曲清单

偶得一不错的爬虫教程，现博客分享，想要获取完整教程，加V：ff17328081445。文章为系列文章，持续更新，欢迎关注。

浏览器分析网页

#打开QQ音乐网址（首页搜索周杰伦）
https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E5%91%A8%E6%9D%B0%E4%BC%A6
#敲击键盘F12，然后点击Network，F5刷新网页。

在这里插入图片描述

Network面板的应用

在这里插入图片描述

从上往下，只看我圈起来的内容的话，它有四行信息。下面，我来为你介绍它。

第1行的左侧，红色的圆钮是启用Network监控（默认高亮打开），灰色圆圈是清空面板上的信息。
右侧勾选框Preserve log，它的作用是“保留请求日志”。如果不点击这个，当发生页面跳转的时候，记录就会被清空。所以，我们在爬取一些会发生跳转的网页时，会点亮它。

第2行，是对请求进行分类查看。我们最常用的是：ALL（查看全部）/XHR（仅查看XHR，我们等会重点讲它）/Doc（Document，第0个请求一般在这里），
有时候也会看看：Img（仅查看图片）/Media（仅查看媒体文件）/Other（其他）。

最后，JS和CSS，则是前端代码，负责发起请求和页面实现；Font是文字的字体；而理解WS和Manifest，需要网络编程的知识，倘若不是专门做这个，你不需要了解。