在常見的幾個音樂網站里,酷狗可以說是最好爬取的啦,什么彎都沒有,也沒加密啥的,所以最適合小白入門爬蟲
本篇針對爬蟲零基礎的小白,所以每一步驟我都截圖並詳細解釋了,其實我自己看着都啰嗦,歸根到底就是兩個步驟的請求,還請大佬繞路勿噴。
1、打開酷狗官網,可以看到搜索框,我們要爬取的數據就是搜索歌曲后,酷狗后台返回的歌曲列表以及每首歌的歌曲信息(歌詞、作者、url等)
2、敲F12鍵進入開發者模式,選擇Network - All (這里就是酷狗前后台交互的所有請求列表)
3、搜索框中輸入搜索內容,然后右側就可以看到會出現很多列表,搜索的列表數據其實就在這里面一條,我已經紅色框標注了(找出這個可以根據那個名字song_search,實在不行點開一個個看是不是所要找的內容)
4、點開這行,上面切換到Preview發現就是搜索結果的json數據,lists就是數據列表
5、點開一條歌曲,里面就包含歌曲名字,作者,AlbumID,FileHash等歌曲信息
6、然后我們上面切換到Headers,可以看到RequestURL(就是請求網址),下面箭頭可以看到是GET請求