# Author:Nimo_Ding
'''
目标:
爬取周杰伦的歌曲清单
'''
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
url='https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E5%91%A8%E6%9D%B0%E4%BC%A6'
music=requests.get(url,headers=headers)
# print(music.text)
# 这里我们从源代码中并没有找到任何歌曲名单。
# 接下来要从Network里面去查找
# Elements:网页源代码
# Network:记录当前页面上发生的所有请求,是实时请求,刷新一下,浏览器会重新访问网络,就会有记录
# 当这些请求完成会组成我们在Elements中看到的网页源代码。
# 为什么刚才无法拿到歌曲清单的代码,是因为刚刚的代码只是所有请求中的第一个请求(准确来说是第0个)
# 而这第0个请求search.html中不包含歌曲清单。点击search.html里的response,就是这个请求的结果。
# 一般都是第0个请求先启动,其他请求才会关联启动。
# 当然也有一些网页直接把所有关键信息都放在第0个请求中
04 爬取周杰伦首页歌单
最新推荐文章于 2021-08-06 11:11:04 发布
本文详细讲解如何使用网络爬虫技术,爬取周杰伦音乐平台首页的歌单信息,包括歌曲名称、歌手和播放链接。通过实例解析Python的requests和BeautifulSoup库的使用,让你轻松获取并解析网页数据。
摘要由CSDN通过智能技术生成