Python爬虫如何实用xpath爬取豆瓣音乐

---

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

---

爬虫的抓取方式有好几种，正则表达式，Lxml(xpath)与BeautifulSoup,我在网上查了一下资料，了解到三者之间的使用难度与性能。

三种爬虫方式的对比

今天咱们主要是讲的xpath爬取数据

xpath简单用法

from lxml import etree

s=etree.HTML(源码) #将源码转化为能被XPath匹配的格式

s.xpath(xpath表达式) #返回为一列表,

基础语法：

// 双斜杠 定位根节点，会对全文进行扫描，在文档中选取所有符合条件的内容，以列表的形式返回。

/ 单斜杠 寻找当前标签路径的下一层路径标签或者对当前路标签内容进行操作

/text() 获取当前路径下的文本内容

/@xxxx 提取当前路径下标签的属性值

| 可选符 使用|可选取若干个路径 如//p | //div 即在当前路径下选取所有符合条件的p标签和div标签。

. 点 用来选取当前节点

… 双点 选取当前节点的父节点

学以致用，方能让我们能快速掌握xpath语法功能。

我们这次需要爬取豆瓣音乐前250条

打开豆瓣音乐：https://music.douban.com/top250

获取单条数据

---

1.获取音乐标题

打开网址，按下F12，然后查找标题，右键弹出菜单栏 Copy==> Copy Xpath

这里我们想获取音乐标题，音乐标题的xpath是：xpath://[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a

coding:utf-8

from lxml import etree

import requests

url = ‘https://music.douban.com/top250’

html = requests.get(url).text #这里一般先打印一下html内容，看看是否有内容再继续。

s = etree.HTML(html)

title = s.xpath(‘//*[@id=“content”]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a’)

print （title）

运行代码：

居然是空的。！！！

这里需要注意一下，浏览器复制的xpath只能作参考，因为浏览器经常会在自己里面增加多余的tbody标签，我们需要手动把这个标签删除

删除中间的/tbody后,是这样的，

title = s.xpath(‘//*[@id=“content”]/div/div[1]/div/table[1]/tr/td[2]/div/a’)

然后我们再运行代码。

<Element a at 0x53d26c8>

如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！