python爬虫之歌_Python爬虫实战（1）之千千音乐热歌前50-Go语言中文社区

爬取内容目标

分析

1.歌曲名称(在class=“song-title”的span下的a标签内)

2.获取作者(class=“author_list” 的span 的title属性)

代码

import requests

from bs4 import BeautifulSoup

'''

1.目标网址 ：http://music.taihe.com/top/dayhot

2.发送请求，获得响应

3.获取BeautifulSoup对象

'''

url="http://music.taihe.com/top/dayhot"

header={

"Accept-Language":"zh-CN,zh;q=0.8",

"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.108 Safari/537.36 2345Explorer/8.1.0.14126"

}

html=requests.get(url,headers=header)

soup=BeautifulSoup(html.content,'lxml')

####获取歌名

alltitle=soup.select("span.song-title");

titlelist=[] #存放歌名

for t in alltitle:

titlelist.append(t.a.text)

print(len(titlelist)) ##100首歌这里 虽然一个页面显示50 其实他是将另外50个隐藏

##获取歌手名

allsinger=soup.select("span.author_list")

singerlist=[]

for t in allsinger:

singerlist.append(t.get("title"))

print(len(singerlist))

####结果输出

for i in range(0,len(singerlist)):

print(titlelist[i]+'-------'+singerlist[i])

结果