Python爬虫案例：爬取酷狗音乐全排行榜歌曲

最新推荐文章于 2023-11-14 23:16:16 发布

pythonlaodi

最新推荐文章于 2023-11-14 23:16:16 发布

阅读量3.5k

点赞数 2

分类专栏：爬虫文章标签： python 数据挖掘大数据 html

本文链接：https://blog.csdn.net/pythonlaodi/article/details/109290029

版权

本文介绍了如何使用Python3.6.5和Pycharm进行网络爬虫，目标是爬取酷狗音乐的全站排行榜歌曲数据。通过调用相关工具，请求目标网站，解析HTML，最后成功保存了数据。

摘要由CSDN通过智能技术生成

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

本次目标

爬取酷狗音乐全站排行榜歌曲

目标地址

https://www.kugou.com/yy/html/rank.html?from=homepage

环境

Python3.6.5

pycharm

爬虫代码

调入工具

import requests
import re
import parsel

请求网站

headers = {
    'authority': 'wwwapi.kugou.com',
    'cookie': 'kg_mid=ac3836df72c523f46a85d8a5fd90fe59; kg_dfid=3ve7aQ2XyGmN0yE3uv3WcaHs; Hm_lvt_aedee6983d4cfc62f509129360d6bb3d=1600260110,

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

pythonlaodi

关注关注

2
点赞
踩
30

收藏

觉得还不错? 一键收藏
3
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

python爬虫（爬取酷狗排行榜并保存到本地）

qq_50646296的博客

11-22

1842

Python爬虫技术案例集锦

热门推荐

m0_73367097的博客

11-14

2万+

爬虫案例、爬取酷狗音乐排行榜、爬虫top500

爬取酷狗音乐top500榜

m0_47339231的博客

03-20

362

import requests from bs4 import BeautifulSoup import time headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.57"} def get_info(url): wb_data=requests.g

python爬取酷狗音乐top500_爬取酷狗音乐Top500

weixin_39914938的博客

12-17

933

开发环境：windows环境+python3+requests库(请求)+BeautifulSoup库(解析)目标:爬取酷狗音乐Top500并保存到txt中整个案例源代码：#导入程序需要的库，requests库用于请求获取网页，BeautifulSoup库用于解析网页数据，time库、random库用于随机延时import requestsfrom bs4 import BeautifulSoup...

实验六综合案例:爬取酷狗音乐top500歌曲信息

06-07

好的，我知道您想问关于爬取酷狗音乐top500歌曲信息的问题。这个任务需要用到Python的爬虫技术，您需要安装requests和BeautifulSoup库来进行爬取和解析网页。您可以按照以下步骤进行操作： 1. 打开酷狗音乐top500的...

爬虫练习-爬取酷狗TOP500音乐信息

莫莫先生的博客

12-07

3194

极简的爬虫，仅仅爬取酷狗TOP500音乐信息（排名、歌手名、歌曲名、歌曲时长），可供入门和想入门的朋友学习。

python爬取酷狗音乐top500及歌词_爬取酷狗音乐Top500(示例代码)

weixin_39562327的博客

12-17

1078

爬取酷狗飙升榜（100首）

04-12

python 使用 selenium 爬取酷狗音乐飙升榜（100）包括歌曲播放地址音乐名作者以及音乐资源url地址

Python爬虫爬取酷狗音乐TOP500

qq_21045113的博客

12-18

4380

Python大作业内容简介：用Python来爬取酷狗音乐TOP500的歌曲信息，统计这500首歌曲中出现的所有歌手，并做可视化处理生成词云实验代码： import time import requests from bs4 import BeautifulSoup import pandas as pd from matplotlib import pyplot as plt from wordcloud import WordCloud from PIL import Image import

爬取酷狗音乐网站，上榜单前500名的歌曲名称！

pythonlaodi的博客

10-10

897

爬取网络数据 1.1首先读取网站` https://www.kugou.com/yy/rank/home/1-6666.html?from=rank` 1.2定义用beautifulsoup选取HTML代码的文字部分： def explain_HTML(mylist, html): soup = BeautifulSoup(html,'html.parser') songs = soup.select('div.pc_temp_songlist > ul > li &g

酷狗音乐Top500榜单爬取

谢谢你们的关注

02-06

1574

网页情况爬取数据包含歌曲排名、歌手、歌曲名、歌曲时长 python 代码 import requests #请求网页获取网页数据 from bs4 import BeautifulSoup #解析网页数据 import time #时间库 #user-Agent，伪装成浏览器，便于爬虫的稳定性 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.

爬取酷狗音乐TOP榜所有的歌曲信息

qq_43539664的博客

10-08

2035

一、构造url： 1. 进入酷狗音乐官方网站，点击酷狗TOP500，查看浏览器地址栏可以看到地址为https://www.kugou.com/yy/rank/home/1-8888.html?from=rank；其中各个部分代码的含义如下：字段含义 https 传输协议 www.kugou.com 域名 yy/rank/home/abs 域名下的子网页 .html 代表网页是静态的？代表一种条件，后面接参数 1-8888 8888可能是端口，1代表当前页面数

Python爬虫（一）-----酷狗Top500的数据

zhao99888的博客

09-23

2358

python入门

python爬虫：爬取酷狗音乐榜单中的音乐信息并存储到MySQL（附源码）

SmallSweets的博客

01-22

6645

目录具体思路代码部分获取歌曲名称和歌手获取歌曲播放页的url获取音乐下载地址将获取到的音乐信息添加到MySQL中完整代码获取酷狗音乐榜单中的音乐信息，这里我以“网络红歌榜”为例获取榜单中的 “音乐名称”，“歌手”，“音乐下载地址”，并将这些信息存储到MySQL数据库中，最后完成的效果图如下：具体思路查看榜单的源代码，我们可以得到歌曲播放页的url，歌曲名称和歌手获取歌曲名称和歌手所以我们可以直接在源代码中将歌曲名称和歌手提取出来获取歌曲下载地址进入到音乐播放页，F12查看一下进入

PHP爬虫音乐,PHPCrawl爬虫库实现抓取酷狗歌单

weixin_35792271的博客

03-20

272

爬虫是一个很有意思的功能，本文主要介绍了PHPCrawl爬虫库实现抓取酷狗歌单的方法,涉及PHPCrawl爬虫库的使用及正则匹配相关操作技巧,需要的朋友可以参考下，希望能帮帮助到大家。header("Content-type:text/html;charset=utf-8");// It may take a whils to crawl a site ...set_time_limit(1000...

pycharm爬虫案例

07-03

PyCharm是一款强大的集成开发环境（IDE），特别适合Python开发者使用，包括但不限于编写爬虫。以下是一个简单的PyCharm爬虫案例： 1. **设置项目**：首先，在PyCharm中创建一个新的Python Web Scrapper项目，选择"File" > "New" > "Project"，然后选择"Python"，勾选"Supports Django/Flask/Web App Development"。 2. **安装依赖**：使用`pip install`安装必要的库，如`requests`用于发送HTTP请求，`beautifulsoup4`或`lxml`解析HTML，`pandas`用于数据处理等。 ```python pip install requests beautifulsoup4 pandas ``` 3. **编写爬虫代码**： ```python import requests from bs4 import BeautifulSoup url = 'https://www.example.com' # 替换为你要爬取的网站地址 response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 例如抓取页面标题 title = soup.title.string print("Title:", title) # 如果有链接需要提取 links = soup.find_all('a', href=True) for link in links: print(link['href']) ``` 4. **调试与运行**：在PyCharm中，你可以使用其丰富的调试工具设置断点、单步执行和查看变量值，检查爬虫是否按预期工作。 **相关问题--:** 1. PyCharm如何支持爬虫项目的调试？ 2. 如何在PyCharm中管理爬虫项目的依赖包？ 3. 用PyCharm编写爬虫时，如何处理网页动态加载的内容？