利用python爬取豆瓣音乐_Python爬虫：现学现用xpath爬取豆瓣音乐

教程来自于大神@逆水寒python绿色通道

from lxml import etree

s=etree.HTML(源码) #将源码转化为能被XPath匹配的格式

s.xpath(xpath表达式) #返回为一列表

基础语法

1.// 双斜杠 定位根节点，会对全文进行扫描，在文档中选取所有符合条件的内容，以列表的形式返回。

2./ 单斜杠 寻找当前标签路径的下一层路径标签或者对当前路标签内容进行操作

3./text() 获取当前路径下的文本内容

4./@xxxx 提取当前路径下标签的属性值

5.| 可选符 使用|可选取若干个路径 如//p | //div 即在当前路径下选取所有符合条件的p标签和div标签。

6.'.' 点 用来选取当前节点

7 .'..' 双点 选取当前节点的父节点

xpath简单获取音乐标题

打开网址，按下F12，然后查找标题，右键弹出菜单栏 Copy==> Copy Xpath

ixpath获取标题路径.png

音乐标题xpath获取的路径是：//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a

代码如下：

# coding:utf-8

from lxml import etree

import requests

url = 'https://music.douban.com/top250'

html = requests.get(url).text # 打印一下 网页内容，看是否有内容再继续

s = etree.HTML(html)

title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a') # 多余的/tbody删除，否则打印的内容为空

print title

得到结果

------------------------------

[]

这里需要注意一下，浏览器复制的xpath只能作参考，因为浏览器经常会在自己里面增加多余的tbody标签，我们需要手动把这个标签删除

删除中间的/tbody后,是这样的，

title = s.xpath('//[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a')

然后我们再运行代码。

得到：

[]

说明标题被获取到了。

因为要获取标题文本，所以xpath表达式要追加/text()

title = s.xpath('//[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()

又因为这个s.xpath返回的是一个集合，且集合中只有一个元素所以我再追加一个[0]

新的表达式：

title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text(),再追加[0]

重新运行得到结果：

We Sing. We Dance. We Steal Things.

正是我们想要的标题。

2.获取评价评分和评价人数

老方法xpath获取路径

评分路径：//[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]

评论人数路径：//[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()

3.获取音乐的链接

这里我们就用到了知识点，路径下的属性值@XXX

xpath路径：//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/@href

4.获取图片地址

同上老方法

xpath路径：//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[1]/a/img/@src

这里犯了一个错误，路径检查不彻底。引以为戒

图片路径

运行代码如下：

# coding:utf-8

from lxml import etree

import requests

url = 'https://music.douban.com/top250'

html = requests.get(url).text # 打印一下 网页内容，看是否有内容再继续

s = etree.HTML(html)

title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0] # 多余的/tbody删除，否则打印的内容为空

score = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()')[0]

numbers = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()')[0]

href = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/@href')[0]

img = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[1]/a/img/@src')[0]

print title, score, numbers, href, img

------------------------------------------

We Sing. We Dance. We Steal Things.

9.1

(

100933人评价

)

https://music.douban.com/subject/2995812/

https://img3.doubanio.com/view/subject/s/public/s

上面我知识获取了一条数据，如何获取多条数据呢？

对比标题的路径

We Sing. We Dance. We Steal Things.：//[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a

Viva La Vida Death And All His Friends：//[@id="content"]/div/div[1]/div/table[2]/tr/td[2]/div/a

运行代码：

# coding:utf-8

from lxml import etree

import requests

url = 'https://music.douban.com/top250'

html = requests.get(url).text

s = etree.HTML(html)

title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()

title2 = s.xpath('//*[@id="content"]/div/div[1]/div/table[2]/tr/td[2]/div/a/text()')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()

title3 = s.xpath('//*[@id="content"]/div/div[1]/div/table[3]/tr/td[2]/div/a/text()')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()

title4 = s.xpath('//*[@id="content"]/div/div[1]/div/table[4]/tr/td[2]/div/a/text()')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()

print title,title2,title3,title4

---------------------------------

We Sing. We Dance. We Steal Things.

Viva La Vida

华丽的冒险

范特西

对比他们的xpath，发现只有table序号不一样，我们可以就去掉序号，得到通用的xpath信息：//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a

同理，评论，评论人数都采用这个方法

运行代码如下

itles = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()') # 因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()

scores = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[2]/text()')

for title in titles:

print title.strip()

for score in scores:

print score.strip()

-------------------------------------------------

We Sing. We Dance. We Steal Things.

Viva La Vida

华丽的冒险

范特西

後。青春期的詩

是时候

Lenka

Start from Here

旅行的意义

太阳

Once (Soundtrack)

Not Going Anywhere

American Idiot

OK

無與倫比的美麗

亲爱的...我还不知道

城市

O

Wake Me Up When September Ends

叶惠美

七里香

21

My Life Will...

寓言

你在烦恼什么

9.1

8.7

8.9

9.2

8.8

8.6

8.5

8.7

9.2

8.6

9.1

8.9

8.9

8.8

8.6

8.5

8.3

9.1

9.3

8.5

8.1

9.0

8.6

9.3

8.9

我们(大神发现的)也发现了问题每一个xpath路径特别长，能不能精简一下呢？

xpath路径

观察发现获取几个关键字段的xpath前缀都是 //*[@id="content"]/div/div[1]/div/table/tr 那我能不能把这些东西提出来呢，让后面的不同的自己去追加，另外这样写也不用管每个页面到底有多少条数据，只管查就行了。所以代码做了一下精简

运行代码如下：

trs = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr') # 先提取tr之前的节点集合

for tr in trs:

title = tr.xpath('td[2]/div/a/text()')[0] # 注意新节点是tr下的节点

score = tr.xpath('td[2]/div/div/span[2]/text()')[0]

print title, score

运行结果一样

精简的结果

获取多个页面的数据

有没有发现页面只是后面start参数发生了改变，且增长为每次25，并且250条数据正好是10页。

所以我可以遍历这个页面。

完整代码：

def getUrl():

for i in range(10):

url = 'https://music.douban.com/top250?start={}'.format(i*25)

scrapypage(url)

def scrapypage(url):

html = requests.get(url).text

s = etree.HTML(html)

trs = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr')

for tr in trs:

title = tr.xpath('td[2]/div/a/text()')[0]

print title

if '__main__':

getUrl()

结果很完美

截图