04 爬取周杰伦首页歌单

# Author:Nimo_Ding

'''
目标：
爬取周杰伦的歌曲清单
'''
import requests
from bs4 import BeautifulSoup
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}

url='https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E5%91%A8%E6%9D%B0%E4%BC%A6'

music=requests.get(url,headers=headers)
# print(music.text)
# 这里我们从源代码中并没有找到任何歌曲名单。
# 接下来要从Network里面去查找
# Elements：网页源代码
# Network：记录当前页面上发生的所有请求，是实时请求，刷新一下，浏览器会重新访问网络，就会有记录
#          当这些请求完成会组成我们在Elements中看到的网页源代码。

#          为什么刚才无法拿到歌曲清单的代码，是因为刚刚的代码只是所有请求中的第一个请求(准确来说是第0个)
#          而这第0个请求search.html中不包含歌曲清单。点击search.html里的response，就是这个请求的结果。
#          一般都是第0个请求先启动，其他请求才会关联启动。
#          当然也有一些网页直接把所有关键信息都放在第0个请求中