梳理步骤:
-
首先,导入了三个Python库:
requests
用于发送HTTP请求,BeautifulSoup
用于解析HTML,csv
用于处理CSV文件。 -
使用
requests.get(url)
向指定的URL发送HTTP GET请求,获取网页的内容,并将其存储在变量html
中。 -
使用
BeautifulSoup
解析html
变量中的网页内容,以便后续操作。 -
通过
soup.find()
方法,查找HTML中具有id
属性为 "rankWrap" 的div
元素,然后进一步查找其下的ul
元素,再找到所有的li
元素,这样就找到了排行榜中的歌曲列表。 -
创建一个空列表
rank_links
,用于存储歌曲的链接。 -
遍历歌曲列表,使用
song.find()
方法查找每个歌曲的名称和链接,然后将它们添加到rank_links
列表中。 -
打开一个CSV文件
"rank_links.csv"
,准备写入链接数据。 -
定义CSV文件的列名为 ["歌曲", "链接"]。
-
创建一个CSV写入器 (
writer
) 并使用writeheader()
写入列名到CSV文件。 -
使用
writer.writerows(rank_links)
将歌曲的名称和链接数据写入CSV文件。 -
最后,打印一条成功消息,指示链接已保存到CSV文件中。
这段代码的主要功能是从指定网页中提取歌曲的名称和链接,并将这些数据保存到CSV文件中。这个CSV文件可以用于进一步的数据分析或处理。
代码总览:
# 导入所需的库
import requests
from bs4 import BeautifulSoup
import csv
# 发送HTTP GET请求获取网页内容
url = "http://www.bspider.top/kugou/"
response = requests.get(url) # 发送GET请求,获取网页内容
html = response.text # 将网页内容存储在变量html中
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, "html.parser") # 使用BeautifulSoup库解析html内容
# 找到排行榜中的歌曲列表
song_list = soup.find("div", id="rankWrap").find("ul").find_all("li") # 查找HTML中id为rankWrap的div元素下的歌曲列表
# 创建一个空列表来存储排行榜链接
rank_links = []
# 遍历歌曲列表并提取链接
for song in song_list: # 遍历歌曲列表
title = song.find("a", class_="pc_temp_songname") # 查找包含歌曲名和链接的元素
if title: # 如果找到了这样的元素
song_name = title.get("title") # 获取歌曲名
song_link = title.get("href") # 获取歌曲链接
rank_links.append({"歌曲": song_name, "链接": song_link}) # 将歌曲名和链接添加到rank_links列表中
# 将链接保存到CSV文件
with open("rank_links.csv", "w", newline="", encoding="utf-8") as csvfile: # 打开一个CSV文件以写入链接数据
fieldnames = ["歌曲", "链接"] # 定义CSV文件的列名
writer = csv.DictWriter(csvfile, fieldnames=fieldnames) # 创建一个CSV写入器
writer.writeheader() # 写入CSV文件的列名
writer.writerows(rank_links) # 将链接数据写入CSV文件
# 打印成功消息
print("排行榜链接已保存到rank_links.csv文件。")