Python爬虫：现学现用xpath爬取豆瓣音乐

最新推荐文章于 2021-03-12 09:38:40 发布
最新推荐文章于 2021-03-12 09:38:40 发布
阅读量726 收藏 13
点赞数
分类专栏： Python爬虫 文章标签： Python爬虫：现学现用xpath爬取豆瓣音乐
原文链接：https://mp.weixin.qq.com/s?__biz=MjM5MTQ4NjA3Nw==&mid=2459678127&idx=1&sn=c5dea6844ef09681757ff5b0facba1cc&chksm=b1dbccbd86ac45ab06d0784e3d328043a7796a8231292ab26be1ac0c1b3aaca006388b2b8110&scene=21#wechat_redirect
版权

爬虫的抓取方式有好几种，正则表达式，Lxml(xpath)与BeautifulSoup,我在网上查了一下资料，了解到三者之间的使用难度与性能
三种爬虫方式的对比。
在这里插入图片描述
这样一比较我我选择了Lxml(xpath)的方式了，虽然有三种方式，但肯定是要选择最好的方式来爬虫，这个道理大家都懂，另外有兴趣的朋友也可以去了解另外两种爬虫方式！

好了现在来讲讲xpath

由于Xpath属于lxml模块，所以首先需要安装lxml库，老办法直接在file–>setting—project interpreter 一键添加lxml库。，如下所示
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

xpath简单用法

from lxml import etree //从lxml包中导入etree
s=etree.HTML(源码) #将源码转化为能被XPath匹配的格式
s.xpath(xpath表达式) #返回为一列表,

基础语法：

在这里插入图片描述
我们这次需要爬取豆瓣音乐前250条

打开豆瓣音乐：https://music.douban.com/top250

获取单条数据

1.获取音乐标题

打开网址，按下F12，然后查找标题，右键弹出菜单栏 Copy==> Copy Xpath
在这里插入图片描述
这里我们想获取音乐标题，音乐标题的xpath是：xpath://*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a

# coding:utf-8
from lxml import etree
import requests

url = 'https://music.douban.com/top250'

html = requests.get(url).text    #这里一般先打印一下html内容，看看是否有内容再继续。
s = etree.HTML(html)   #将源码转化为能被XPath匹配的格式
title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a')
print title

运行代码：
居然是空的。！！！
这里需要注意一下，浏览器复制的xpath只能作参考，因为浏览器经常会在自己里面增加多余的tbody标签，我们需要手动把这个标签删除
删除中间的/tbody后,是这样的，

title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a')

然后我们再运行代码。
得到：

<Element a at 0x53d26c8>

说明标题被获取到了。
因为要获取标题文本，所以xpath表达式要追加/text()
又因为这个s.xpath返回的是一个集合，且集合中只有一个元素所以我再追加一个[0]
新的表达式：
title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0] #因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text(),再追加[0]

重新运行得到结果：
We Sing. We Dance. We Steal Things.
正是我们想要的标题。

2.获取音乐评分与评价人数

老办法，先用右键copy评分的xpath

//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/div/span[2]

复制评价人数的xpath:

//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/div/span[3]

同样的我们要把tbody去掉，然后重新运行代码：

# coding:utf-8
from lxml import etree  
import requests

url = 'https://music.douban.com/top250'

html = requests.get(url).text #得到该网址的网页页面的html文本
s = etree.HTML(html) #将源码转化为能被XPath匹配的格式
title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()
score = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()')[0]#因为要获取文本，所以我需要这个当前路径下的文本，所以使用/text()
numbers = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()')[0]#因为要获取文本，所以我需要这个当前路径下的文本，所以使用/text()
print title,score,numbers

得到：

     We Sing. We Dance. We Steal Things.
    9.1 
                (
                        108214人评价
                )
3.获取音乐链接

copy标题的xpath: //*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a
想获取音乐的链接href，所以我们可以用/@xxx来提取当前路径标签下的属性值

//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a/@href

代码：

# coding:utf-8
from lxml import etree
import requests

url = 'https://music.douban.com/top250'

html = requests.get(url).text   #得到该网址的网页页面的html文本
s = etree.HTML(html)  #将源码转化为能被XPath匹配的格式
href = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/@href')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()
title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()
score = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()')[0]#因为要获取文本，所以我需要这个当前路径下的文本，所以使用/text()
numbers = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()')[0]#因为要获取文本，所以我需要这个当前路径下的文本，所以使用/text()
print href,title,score,numbers

运行代码得到：

https://music.douban.com/subject/2995812/ 
            We Sing. We Dance. We Steal Things.
        9.1 
                    (
                            108215人评价
                    )
4.获取图片地址：

找到图片，复制他的xpath地址：

//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[1]/a/img

运行代码：

# coding:utf-8
from lxml import etree
import requests

url = 'https://music.douban.com/top250'

html = requests.get(url).text   #得到该网址的网页页面的html文本
s = etree.HTML(html)  #将源码转化为能被XPath匹配的格式
href = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/@href')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()
title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()
score = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()')[0]#因为要获取文本，所以我需要这个当前路径下的文本，所以使用/text()
numbers = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()')[0]#因为要获取文本，所以我需要这个当前路径下的文本，所以使用/text()
imgpath = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[1]/a/img/@src')[0]#因为要获取文本，所以我需要这个当前路径下的文本，所以使用/text()
print href,title,score,numbers,imgpath

老套路：
得到结果:

https://music.douban.com/subject/2995812/ 
            We Sing. We Dance. We Steal Things.
        9.1 
                    (
                            108215人评价
                    )
                 https://img3.doubanio.com/view/subject/s/public/s2967252.jpg

但是这只是获取了一条数据，如果获取多条数据呢？
在这里插入图片描述
我们再看第二条数据，第三条数据,第四条数据
得到他们的xpath:

# coding:utf-8
from lxml import etree
import requests

url = 'https://music.douban.com/top250'
html = requests.get(url).text   #得到该网址的网页页面的html文本
s = etree.HTML(html)  #将源码转化为能被XPath匹配的格式
title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()
title2 = s.xpath('//*[@id="content"]/div/div[1]/div/table[2]/tr/td[2]/div/a/text()')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()
title3 = s.xpath('//*[@id="content"]/div/div[1]/div/table[3]/tr/td[2]/div/a/text()')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()
title4 = s.xpath('//*[@id="content"]/div/div[1]/div/table[4]/tr/td[2]/div/a/text()')[0]#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()
print title,title2,title3,title4

得到 前4个音乐的标题

  We Sing. We Dance. We Steal Things.
        Viva La Vida
        华丽的冒险
        范特西

对比他们的xpath，发现只有table序号不一样，我们可以就去掉序号，得到通用的xpath信息：
运行代码：

# coding:utf-8
from lxml import etree
import requests

url = 'https://music.douban.com/top250'
html = requests.get(url).text   #得到该网址的网页页面的html文本
s = etree.HTML(html)  #将源码转化为能被XPath匹配的格式
titles = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()')#因为要获取标题，所以我需要这个当前路径下的文本，所以使用/text()

for title in titles: //然后遍历titles,打印出所有的音乐标题
    print title.strip()  //strip()方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列

运行结果

We Sing. We Dance. We Steal Things.
Viva La Vida
华丽的冒险
范特西
後。青春期的詩
是时候
Lenka
Start from Here
旅行的意义
太阳
Once (Soundtrack)
Not Going Anywhere
American Idiot
OK
無與倫比的美麗
亲爱的...我还不知道
城市
O
Wake Me Up When September Ends
叶惠美
七里香
21
My Life Will...
寓言
你在烦恼什么

其它的信息如：链接地址，评分，评价人数都可以用同样的办法来获取，现在我同时获取多条数据，因为每页数据是25条，所以：
完整代码如下：

# coding:utf-8
from lxml import etree
import requests
url = 'https://music.douban.com/top250'
html = requests.get(url).text
s = etree.HTML(html)
  #下面得到href节点数组，title节点数组，score节点数组等等
hrefs = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/@href')
titles = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()')
scores = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[2]/text()')
numbers = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[3]/text()')
imgs = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[1]/a/img/@src')
for i in range(25):
    print hrefs[i],titles[i],scores[i],numbers[i],imgs[i]

执行结果
一大批数据了，我就不展示了。有兴趣可以直接copy代码运行.,注意你得装上lxml与requests库.

我们也发现了问题每一个xpath路径特别长，能不能精简一下呢？

5. 精简一下xpath路径
 #下面得到href节点数组对象，title节点数组对象，score节点数组对象等等
hrefs = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/@href')
titles = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()')
scores = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[2]/text()')
numbers = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[3]/text()')
imgs = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[1]/a/img/@src')

观察发现获取几个关键字段的xpath前缀都是 //*[@id="content"]/div/div[1]/div/table/tr 那我能不能把这些东西提出来呢，让后面的不同的自己去追加，另外这样写也不用管每个页面到底有多少条数据，只管查就行了。所以代码做了一下精简。

url = 'https://music.douban.com/top250'

html = requests.get(url).text
s = etree.HTML(html)
trs = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr')  #先提取tr之前的节点集合

for tr in trs: #遍历trs节点数组
    href = tr.xpath('./td[2]/div/a/@href')[0]  #注意新节点是tr下的节点 
    title = tr.xpath('./td[2]/div/a/text()')[0]
    score = tr.xpath('./td[2]/div/div/span[2]/text()')[0]
    number = tr.xpath('./td[2]/div/div/span[3]/text()')[0]
    img = tr.xpath('./td[1]/a/img/@src')[0]
    print href,title,score,number,img

得到的结果和之前是一样的。

但是，但是，这只是一个页面的数据，我现在想爬取多个页面的数据，怎么办呢？

在这里插入图片描述
有没有发现页面只是后面start参数发生了改变，且增长为每次25，并且250条数据正好是10页。
所以我可以遍历这个页面。
代码：

for i in range(10):    #下面的{}就是一个占位符，占位符里面的数据是，format()里的数据
url = 'https://music.douban.com/top250?start={}'.format(i*25)
print url

得到：

https://music.douban.com/top250?start=0
https://music.douban.com/top250?start=25
https://music.douban.com/top250?start=50
https://music.douban.com/top250?start=75
https://music.douban.com/top250?start=100
https://music.douban.com/top250?start=125
https://music.douban.com/top250?start=150
https://music.douban.com/top250?start=175
https://music.douban.com/top250?start=200
https://music.douban.com/top250?start=225

正是自己要的结果。

好了最后我们把代码拼装在一起，并注意每个方法的用途。

完整代码

# coding:utf-8
from lxml import etree
import requests

#获取页面地址
def getUrl():
    for i in range(10):
     url = 'https://music.douban.com/top250?start={}'.format(i*25)
     scrapyPage(url)


#爬取每页数据
def scrapyPage(url):
    html = requests.get(url).text
    s = etree.HTML(html)
    trs = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr')

    for tr in trs:
        href = tr.xpath('./td[2]/div/a/@href')[0]
        title = tr.xpath('./td[2]/div/a/text()')[0]
        score = tr.xpath('./td[2]/div/div/span[2]/text()')[0]
        number = tr.xpath('./td[2]/div/div/span[3]/text()')[0]
        img = tr.xpath('./td[1]/a/img/@src')[0]
        print href, title, score, number, img

if  '__main__':
    getUrl()

本文转载自：https://mp.weixin.qq.com/s?__biz=MjM5MTQ4NjA3Nw==&mid=2459678127&idx=1&sn=c5dea6844ef09681757ff5b0facba1cc&chksm=b1dbccbd86ac45ab06d0784e3d328043a7796a8231292ab26be1ac0c1b3aaca006388b2b8110&scene=21#wechat_redirect

java爬虫爬取音乐
qq_52913921的博客
03-22 1548
以前写过一个音乐网站，我都是手动去下载音乐，并上传到网站，非常麻烦。学习了HttpClinet和Jsoup 我决定完成一个简单的爬虫去收集音乐信息，并下载音乐；
python实例豆瓣音乐代码_实例学习——爬取豆瓣音乐TOP250数据
weixin_39669202的博客
11-28 578
开发环境：（Windows）eclipse+pydev+MongoDB豆瓣TOP网址：传送门一、连接数据库打开MongoDBx下载路径，新建名为data的文件夹，在此新建名为db的文件夹，db文件夹即用于存储数据在bin路径下输入配置信息——>mongod --dbpath D:\MongoDB\data\db (此处为存储文件路径)再打开新的命令行窗口，输入——>mongo注意：启动服务的命令行...
Java爬虫酷我音乐
aa80303857的博客
05-17 1003
//http://www.ityks.com 专业Java培训 //使用OKHTTP与JSOUP @Test void testKuwo() { HttpDemo http = new HttpDemo(); String baseUrl = "http://www.kuwo.cn/bang/content?name=%E9%85%B7%E6%88%91%...
java爬虫音乐搜索_爬虫爬取抖音热门音乐 - MS_Andrew的个人空间 - OSCHINA - 中文开源技术交流社区...
weixin_42350606的博客
03-02 413
爬取抖音的热门音乐这个就相对来说简单一点，这是代码运行的结果 获取音乐的网址https://kuaiyinshi.com/hot/music/?source=dou-yin&page=1打开该网页F12,F5刷新 做义工只需要以上的数据根据beautifulsoup去获取,直接上代码headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10...
利用python爬取豆瓣音乐_Python爬虫：现学现用xpath爬取豆瓣音乐
最新发布
06-07
好的，我可以为您提供相关的爬取豆瓣音乐的Python代码。以下是基于XPath的示例代码： ```python import requests from lxml import etree url = 'https://music.douban.com/top250?start=0' # 发送HTTP请求 ...
xpath获取标签的属性值_Python爬虫：现学现用xpath爬取豆瓣音乐
weixin_39880490的博客
11-20 917
爬虫的抓取方式有好几种，正则表达式，Lxml(xpath)与BeautifulSoup,我在网上查了一下资料，了解到三者之间的使用难度与性能三种爬虫方式的对比。这样一比较我我选择了Lxml(xpath)的方式了，虽然有三种方式，但肯定是要选择最好的方式来爬虫，这个道理大家都懂，另外有兴趣的朋友也可以去了解另外两种爬虫方式！好了现在来讲讲xpath由于Xpath属于lxml模块，所以首先需要安装lx...
java 爬虫音乐,Java爬取网易云音乐所有歌曲一：爬取所有歌手及其对应id
weixin_30247915的博客
03-12 1181
使用jsoup包进行爬虫org.jsoupjsoup1.6.1具体代码如下 下一篇：根据歌手Id获取所有专辑package com.ssm.jsoup.music;import com.ssm.utils.FileUtils;import org.jsoup.Connection;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;i...
关于xpath
ljlhnick的博客
06-18 415
其功能和正则表达式和BeautifulSoup里的soup里的功能有点相似 #coding=utf-8 #xpath '''' 1、要保证传给lxml的参数都是unicode 2、用 urlopen() 抓到的 file-like object ，或者用open()打开的硬盘上的 file object 不一定是unicode 3、用 unicode(file-like-object.read
java实现爬音乐_ReptilianDemo
weixin_31036839的博客
02-28 391
package com.netMusic.spider;import com.google.gson.Gson;import com.google.gson.reflect.TypeToken;import com.netMusic.entity.Record;import com.netMusic.entity.Singer;import com.netMusic.entity.custom2....
利用爬虫批量下载songtaste歌曲-java实现
07-12
java利用爬虫批量下载songtaste歌曲: 基本原理如下: ①.在一个页面中,利用爬虫,获取到当前页面所有歌曲的id, ②.然后根据歌曲的id,找到下载歌曲的页面,一般url是类似这样子的: http://huodong.duomi.com/songtaste/?songid=2202703 ③.在②的url页面中找到mp3文件资源位置的url 类似这种http://me.songtaste.com/2011/3/23/fas23asdr234asdfas234.mp3 ④.然后根据③的url把歌曲想下载下来 ⑤.测试的过的url如下: http://www.songtaste.com/album/233358 http://www.songtaste.com/music/ Ps:如果songtaste的网址源代码更改了,也许该程序会运行不成功
一个音乐网站爬虫
08-27
这是一款专门针对某个音乐网站的爬虫，可以连续下载其连载曲目，读者可下载并加入自己的需求进行改进，下载曲目默认放在该工程目录下，且分专辑保存。 目前网站前端有所改版，旧版代码所在目录src/luoo，读者可查看src/luoo2目录进行改进。
毕业设计源码 文档：基于Android的音乐播放器.rar
07-10
毕业设计源码 文档：基于Android的音乐播放器的设计与实现，由湖南工业大学计算机与通信学院学生编写开发，制作音乐播放器所用的技术，制作流程和功能介绍。本论文的音乐播放器采用了Android开源系统技术，利用Java语言和Eclipse编辑工具对播放器进行编写。同时给出了详细的系统设计过程、部分界面图及主要功能运行流程图，本文还对调试过程中遇到的问题和解决方法进行了详细的讨论。 　　播放器实现的功能主要有：本地播放、暂停、上一曲、下一曲、歌曲下载、歌曲搜索、在线播放等。音乐播放器包括五大界面，收藏界面，播放界面，列表界面，在线音乐界面，下载界面；采用统一的颜色格调，操作流畅。同时登录后还有分享到微信，qq，微博的功能，以及根据储存路径删除音乐文件和根据id删除mediastore的歌曲记录。登陆注册是一个自定义的alertdialog弹出框，写入sqlitedatabase进行验证判断。 　　通过这个音乐播放器的设计制作，接触了曾经没有涉猎的技术领域。同时也系统地复习了android和java语言，可以说是收获颇丰。 　　该播放器能流畅的播放所有MP3文件，操作流畅，使用方便。 　　关键词： 网络爬虫，数据库，消息机制，播放器
Java爬虫后台微信小程序之音乐播放器（下）
qq_41802229的博客
03-26 4万+
通过爬虫爬取酷狗的音乐资源 首先搜索json数据获取地址： https://songsearch.kugou.com/song_search_v2?keyword=许嵩&page=1&pagesize=30&platform=WebFilter&tag=em&filter=2 然后获取关键参数是Hash https://wwwapi.kugou.com/yy...
java爬虫系列
海那边天哭了
05-27 135
推荐:https://www.cnblogs.com/sam-uncle/category/1469093.html
Java 实现简单爬虫 爬取音悦台热榜
Yonggie的博客
04-17 293
一个很简单的java爬虫。 package netClass; import java.net.URL; import java.io.*; class hello_world { public static void main(String[] args) { String aString="http://vchart.yinyuetai.com/album...
JAVA爬酷狗音乐
garbagetoshabi的博客
11-06 1171
先说一下爬取的思路 1，随便打开一首能波的歌播放，找到它的播放地址： https://wwwapi.kugou.com/yy/index.php?r=play/getdata&hash=42447823290E80FD5318E8A195A169DD&album_id=28687022 多播放几首发现只要hash和album_id不同就能播放不同的歌 所以只要找到所有歌的hash和...
java自己写的一个图片爬虫和音乐爬虫（数据爬虫跟这个原理一样将下载改成数据处理即可）（优化加入数据爬虫到mysql数据库在最后）
u010740917的博客
01-10 526
音乐爬虫实例暂时不能使用，酷狗音乐好像做了反爬我将更新程序再上传 网络上有很多爬虫框架结构也多种多样但是基本结构就3个1下载器，2解析器，3处理器（基本所有爬虫都是在这个结构上扩展的）。 所以不论是用其他人的爬虫框架还是自己的爬虫只要理解这3个结构就能很好的使用爬虫或开发爬虫。 我用的是SeimiCrawler爬虫框架 简单实例 添加maven依赖(已经同步到中央maven库)...
Java爬虫后台+微信小程序之音乐播放器（上）
热门推荐
qq_41802229的博客
03-26 4万+
微信小程序–音乐播放器（Java爬虫后台在下文篇章公布） 主页面： wxml： css就不展示了，比较多 <view class='container' style='width:{{wid}} height={{he}}'> <view class="inputView"> <form bindsubmit='submit'> &...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值