来源:Python数据之道
作者:叶庭云
整理:Lemon
爬虫解析利器
PyQuery详解及使用实践
之前在公众号「Python数据之道」跟大家分享了 selenium、Scrapy、Pyppeteer 等工具的使用。
今天来分享另一个好用的爬虫解析工具 PyQuery
。
一、简介
每个网页,都有一定的特殊结构和层级关系,而且很多节点都有 id 或 class 作为区分,我们可以借助它们的结构和属性来提取信息。
PyQuery 是一个强大的 HTML 解析库,利用它,我们可以直接解析 DOM 节点的结构,并通过 DOM 节点的一些属性快速进行内容提取。
pyquery 是 Python 的第三方库,可以用 pip3 来安装,安装命令如下:
pip3 install pyquery -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
在解析 HTML 文本的时候,首先需要将其初始化为一个 pyquery 对象。它的初始化方式有多种,比如直接传入字符串、传入 URL、传入文件名等等。
字符串初始化
可以直接把 HTML 的内容当作参数来初始化 pyquery 对象,下面用一个实例来感受一下:
from pyquery import PyQuery as pq
html = '''
<div>
<ul class="clearfix">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li><img src="http://pic.netbian.com/uploads/allimg/210107/215736-1610027856f6ef.jpg"></li>
<li><img src="http://pic.netbian.com//uploads/allimg/190902/152344-1567409024af8c.jpg"></li>
</ul>
</div>
'''
doc = pq(html)
print(doc('li'))
运行结果如下:
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li><img src="http://pic.netbian.com/uploads/allimg/210107/215736-1610027856f6ef.jpg"/></li>
<li><img src="http://pic.netbian.com//uploads/allimg/190902/152344-1567409024af8c.jpg"/></li>
首先引入 pyquery 这个对象,取别名为 pq,然后定义了一个长 HTML 字符串,并将其当作参数传递给 pyquery 类,这样就成功完成了初始化。
接下来,将初始化的对象传入 CSS 选择器。在这个实例中,我们传入 li 节点,这样就可以选择所有的 li 节点。
URL 初始化
# -*- coding: UTF-8 -*-
from pyquery import PyQuery as pq
url = 'https://yetingyun.blog.csdn.net/'
doc = pq(url)
print(doc('title'))
运行结果如下:
<title>叶庭云的博客_CSDN博客-python 爬虫,python数据可视化,计算机视觉图像处理领域博主</title>
pyquery 对象会首先请求这个 URL,然后用得到的 HTML 内容完成初始化。这就相当于将网页的源代码以字符串的形式传递给 pyquery 类来初始化。
文件初始化
除了传递一个 URL,我们还可以传递本地的文件名,参数指定为 filename 即可:
from pyquery import PyQuery as pq
doc = pq(filename='时间轮播图.html')
print(doc('title'))
运行结果如下:
<title>Awesome-pyecharts</title>
当然,这里需要有一个本地 HTML 文件,其内容是待解析的 HTML 字符串。这样它会先读取本地的文件内容,然后将文件内容以字符串的形式传递给 pyquery 类来初始化。
以上 3 种方式均可初始化,当然最常用的初始化方式还是以字符串形式传递。
二、pyquery基本使用
基本 CSS 选择器
用一个实例来感受一下 pyquery 的 css 选择器的用法:
from pyquery import PyQuery as pq
html = '''
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
'''
doc = pq(html)
print(doc('#container .list li'))
print(type(doc('#container .list li')))
运行结果如下:
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
<class 'pyquery.pyquery.PyQuery'>
初始化 pyquery 对象之后,传入 css 选择器 #container .list li,它的意思是先选取 id 为 container 的节点,然后再选取其内部 class 为 list 的所有 li 节点,最后打印输出。
可以看到,我们成功获取到了符合条件的节点。我们将它的类型打印输出后发现,它的类型依然是 pyquery 类型。
下面,我们直接遍历这些节点,然后调用 text 方法,就可以获取节点的文本内容
from pyquery import PyQuery as pq
html = '''
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
'''
doc = pq(html)
for item in doc('#container .list li').items():
print(item.text())
运行结果如下:
first item
second item
third item
fourth item
fifth item
而是直接通过选择器和 text 方法,就得到了我们想要提取的文本信息,是不是挺方便的?
获取信息
提取到节点之后,我们的最终目的当然是提取节点所包含的信息了。比较重要的信息有两类,一是获取属性,二是获取文本,下面分别进行说明。
获取属性:提取到某个 pyquery 类型的节点后,可以调用 attr 方法来获取属性:
from pyquery import PyQuery as pq
html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
doc = pq(html)
a = doc('.item-0.active a')
print(a, type(a))
print(a.attr('href'))
print(a.attr.href)
运行结果如下:
<a href="link3.html"><span class="bold">third item</span></a> <class 'pyquery.pyquery.PyQuery'>
link3.html
link3.html
在这个例子中我们首先选中 class 为 item-0 和 active 的 li 节点内的 a 节点,它的类型是 pyquery 类型。然后调用 attr 方法。在这个方法中传入属性的名称,就可以得到属性值了。此外,也可以通过调用 attr 属性来获取属性值。
遍历获取所有的 a 节点的属性:
from pyquery import PyQuery as pq
html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
doc = pq(html)
nodes = doc('a')
for item in nodes.items():
print(item.attr('href'))
运行结果如下:
link2.html
link3.html
link4.html
link5.html
因此,在进行属性获取时,先要观察返回节点是一个还是多个,如果是多个,则需要遍历才能依次获取每个节点的属性。
获取文本
获取节点之后的另一个主要操作就是获取其内部文本了,此时可以调用 text 方法来实现:
from pyquery import PyQuery as pq
html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
doc = pq(html)
nodes = doc('li')
for item in nodes.items():
print(item.text())
运行结果如下:
first item
second item
third item
fourth item
fifth item
三、爬取B站视频热搜榜单数据
下面用一个爬取B站视频热搜榜单数据的实例来熟悉 PyQuery 的使用
URL:https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3
![](https://i-blog.csdnimg.cn/blog_migrate/5b610115142c8e1d08f76d179a2a674b.png)
1. 发送请求
import requests
# 伪装请求头
headers = {
"Origin": "https://www.bilibili.com",
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
}
# 目标URL
url = 'https://www.bilibili.com/v/popular/rank/all'
# request请求获取的文本传入PyQuery初始化
resp = requests.get(url, headers=headers)
print(resp.status_code)
print(resp.text)
在上面的代码中,我们完成了以下几件事:
导入 requests 库
伪装请求头
使用 get 方法构造请求
打印查看请求的状态码和网页源代码文本
2. 解析提取数据和保存
from pyquery import PyQuery as pq
import openpyxl
wb = openpyxl.Workbook() # 初始化工作簿对象
sheet = wb.active # 获取活动的工作表
# 添加列名
sheet.append(['rank', 'title', 'link', 'bicon_play', 'bicon_view', 'creator', 'score'])
doc = pq(resp)
# 获取class=rank-list 下所有li节点内容
# 遍历li节点
con1 = doc('.rank-list li')
for item in con1.items():
rank = item('.num').text() # 排名
title = item('.content .info a:first-child').text() # 视频标题
link = 'https:' + item('.content .info a').attr('href') # 视频链接
# creator = item('.content .info .detail a span').text() # UP主
bicon_play, bicon_view, creator = item('.content .info .detail span').text().split(' ')
# print(bicon_play, bicon_view, creator)
score = item('.content .info .pts div').text()
sheet.append([rank, title, link, bicon_play, bicon_view, creator, score])
wb.save(filename='data.xlsx')
3. 完整代码
# -*- coding: UTF-8 -*-
from pyquery import PyQuery as pq
import requests
import logging
import openpyxl
wb = openpyxl.Workbook() # 初始化工作簿对象
sheet = wb.active # 获取活动的工作表
# 添加列名
sheet.append(['rank', 'title', 'link', 'bicon_play', 'bicon_view', 'creator', 'score'])
# 日志输出配置
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
# 伪装请求头
headers = {
"Origin": "https://www.bilibili.com",
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
}
# 目标URL
url = 'https://www.bilibili.com/v/popular/rank/all'
# request请求获取的文本传入PyQuery初始化
resp = requests.get(url, headers=headers).text
doc = pq(resp)
# 获取class=rank-list 下所有li节点内容
# 遍历li节点
con1 = doc('.rank-list li')
for item in con1.items():
rank = item('.num').text() # 排名
title = item('.content .info a:first-child').text() # 视频标题
link = 'https:' + item('.content .info a').attr('href') # 视频链接
# creator = item('.content .info .detail a span').text() # UP主
bicon_play, bicon_view, creator = item('.content .info .detail span').text().split(' ')
# print(bicon_play, bicon_view, creator) # 排名
score = item('.content .info .pts div').text()
sheet.append([rank, title, link, bicon_play, bicon_view, creator, score])
logging.info([rank, title, link, bicon_play, bicon_view, creator, score])
wb.save(filename='data.xlsx')
运行效果如下:
![](https://i-blog.csdnimg.cn/blog_migrate/fe0bf1953d84854b829dbd9b36f03f2c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b8ab05693b969d2124cff59cc0cac5ef.png)
作者:叶庭云
CSDN:https://yetingyun.blog.csdn.net/
本文来自公众号读者投稿,欢迎各位童鞋向公号投稿,点击下面图片了解详情!
后台回复「微信群」,将邀请加入读者交流群。