爬虫解析利器PyQuery详解及使用实践

最新推荐文章于 2024-03-06 16:29:36 发布
最新推荐文章于 2024-03-06 16:29:36 发布
阅读量3.1k 收藏 10
点赞数 3
文章标签： 编程语言 html python xpath 数据挖掘
原文链接：https://blog.csdn.net/fyfugoyfa/article/details/112548707
版权

来源：Python数据之道

作者：叶庭云

整理：Lemon

爬虫解析利器

PyQuery详解及使用实践

之前在公众号「Python数据之道」跟大家分享了 selenium、Scrapy、Pyppeteer 等工具的使用。

今天来分享另一个好用的爬虫解析工具 PyQuery。

一、简介

每个网页，都有一定的特殊结构和层级关系，而且很多节点都有 id 或 class 作为区分，我们可以借助它们的结构和属性来提取信息。

PyQuery 是一个强大的 HTML 解析库，利用它，我们可以直接解析 DOM 节点的结构，并通过 DOM 节点的一些属性快速进行内容提取。

pyquery 是 Python 的第三方库，可以用 pip3 来安装，安装命令如下：

pip3 install pyquery -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

在解析 HTML 文本的时候，首先需要将其初始化为一个 pyquery 对象。它的初始化方式有多种，比如直接传入字符串、传入 URL、传入文件名等等。

字符串初始化

可以直接把 HTML 的内容当作参数来初始化 pyquery 对象，下面用一个实例来感受一下：

from pyquery import PyQuery as pq

html = '''
<div>
    <ul class="clearfix">
        <li class="item-0">first item</li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li><img src="http://pic.netbian.com/uploads/allimg/210107/215736-1610027856f6ef.jpg"></li>
        <li><img src="http://pic.netbian.com//uploads/allimg/190902/152344-1567409024af8c.jpg"></li> 
    </ul>
</div>
'''

doc = pq(html)
print(doc('li'))

运行结果如下：

<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li><img src="http://pic.netbian.com/uploads/allimg/210107/215736-1610027856f6ef.jpg"/></li>
<li><img src="http://pic.netbian.com//uploads/allimg/190902/152344-1567409024af8c.jpg"/></li>  

首先引入 pyquery 这个对象，取别名为 pq，然后定义了一个长 HTML 字符串，并将其当作参数传递给 pyquery 类，这样就成功完成了初始化。

接下来，将初始化的对象传入 CSS 选择器。在这个实例中，我们传入 li 节点，这样就可以选择所有的 li 节点。

URL 初始化

# -*- coding: UTF-8 -*-

from pyquery import PyQuery as pq

url = 'https://yetingyun.blog.csdn.net/'

doc = pq(url)
print(doc('title'))

运行结果如下：

<title>叶庭云的博客_CSDN博客-python 爬虫,python数据可视化,计算机视觉图像处理领域博主</title>

pyquery 对象会首先请求这个 URL，然后用得到的 HTML 内容完成初始化。这就相当于将网页的源代码以字符串的形式传递给 pyquery 类来初始化。

文件初始化

除了传递一个 URL，我们还可以传递本地的文件名，参数指定为 filename 即可：

from pyquery import PyQuery as pq

doc = pq(filename='时间轮播图.html')
print(doc('title'))

运行结果如下：

<title>Awesome-pyecharts</title>

当然，这里需要有一个本地 HTML 文件，其内容是待解析的 HTML 字符串。这样它会先读取本地的文件内容，然后将文件内容以字符串的形式传递给 pyquery 类来初始化。

以上 3 种方式均可初始化，当然最常用的初始化方式还是以字符串形式传递。

二、pyquery基本使用

基本 CSS 选择器

用一个实例来感受一下 pyquery 的 css 选择器的用法：

from pyquery import PyQuery as pq
html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''

doc = pq(html)
print(doc('#container .list li'))
print(type(doc('#container .list li')))

运行结果如下：

<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>

<class 'pyquery.pyquery.PyQuery'>

初始化 pyquery 对象之后，传入 css 选择器 #container .list li，它的意思是先选取 id 为 container 的节点，然后再选取其内部 class 为 list 的所有 li 节点，最后打印输出。

可以看到，我们成功获取到了符合条件的节点。我们将它的类型打印输出后发现，它的类型依然是 pyquery 类型。

下面，我们直接遍历这些节点，然后调用 text 方法，就可以获取节点的文本内容

from pyquery import PyQuery as pq
html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''

doc = pq(html)
for item in doc('#container .list li').items():
    print(item.text())

运行结果如下：

first item
second item
third item
fourth item
fifth item

而是直接通过选择器和 text 方法，就得到了我们想要提取的文本信息，是不是挺方便的？

获取信息

提取到节点之后，我们的最终目的当然是提取节点所包含的信息了。比较重要的信息有两类，一是获取属性，二是获取文本，下面分别进行说明。

获取属性：提取到某个 pyquery 类型的节点后，可以调用 attr 方法来获取属性：

from pyquery import PyQuery as pq
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''

doc = pq(html)
a = doc('.item-0.active a')
print(a, type(a))
print(a.attr('href'))
print(a.attr.href)

运行结果如下：

<a href="link3.html"><span class="bold">third item</span></a> <class 'pyquery.pyquery.PyQuery'>
link3.html
link3.html

在这个例子中我们首先选中 class 为 item-0 和 active 的 li 节点内的 a 节点，它的类型是 pyquery 类型。然后调用 attr 方法。在这个方法中传入属性的名称，就可以得到属性值了。此外，也可以通过调用 attr 属性来获取属性值。

遍历获取所有的 a 节点的属性：

from pyquery import PyQuery as pq
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''

doc = pq(html)
nodes = doc('a')
for item in nodes.items():
    print(item.attr('href'))

运行结果如下：

link2.html
link3.html
link4.html
link5.html

因此，在进行属性获取时，先要观察返回节点是一个还是多个，如果是多个，则需要遍历才能依次获取每个节点的属性。

获取文本

获取节点之后的另一个主要操作就是获取其内部文本了，此时可以调用 text 方法来实现：

from pyquery import PyQuery as pq
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''

doc = pq(html)
nodes = doc('li')
for item in nodes.items():
    print(item.text())

运行结果如下：

first item
second item
third item
fourth item
fifth item

三、爬取B站视频热搜榜单数据

下面用一个爬取B站视频热搜榜单数据的实例来熟悉 PyQuery 的使用

URL：https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3

1. 发送请求

import requests
# 伪装请求头
headers = {
    "Origin": "https://www.bilibili.com",
    "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
}
# 目标URL
url = 'https://www.bilibili.com/v/popular/rank/all'
# request请求获取的文本传入PyQuery初始化
resp = requests.get(url, headers=headers)
print(resp.status_code)
print(resp.text)

在上面的代码中，我们完成了以下几件事：

  • 导入 requests 库

  • 伪装请求头

  • 使用 get 方法构造请求

  • 打印查看请求的状态码和网页源代码文本

2. 解析提取数据和保存

from pyquery import PyQuery as pq
import openpyxl

wb = openpyxl.Workbook()    # 初始化工作簿对象
sheet = wb.active           # 获取活动的工作表
# 添加列名
sheet.append(['rank', 'title', 'link', 'bicon_play', 'bicon_view', 'creator', 'score'])
doc = pq(resp)
# 获取class=rank-list 下所有li节点内容
# 遍历li节点
con1 = doc('.rank-list li')
for item in con1.items():
    rank = item('.num').text()   # 排名
    title = item('.content .info a:first-child').text()         # 视频标题
    link = 'https:' + item('.content .info a').attr('href')     # 视频链接
    # creator = item('.content .info .detail a span').text()    # UP主
    bicon_play, bicon_view, creator = item('.content .info .detail span').text().split(' ')
    # print(bicon_play, bicon_view, creator)     
    score = item('.content .info .pts div').text()
    sheet.append([rank, title, link, bicon_play, bicon_view, creator, score])
wb.save(filename='data.xlsx')

3. 完整代码

# -*- coding: UTF-8 -*-
from pyquery import PyQuery as pq
import requests
import logging
import openpyxl

wb = openpyxl.Workbook()    # 初始化工作簿对象
sheet = wb.active           # 获取活动的工作表
# 添加列名
sheet.append(['rank', 'title', 'link', 'bicon_play', 'bicon_view', 'creator', 'score'])
# 日志输出配置
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
# 伪装请求头
headers = {
    "Origin": "https://www.bilibili.com",
    "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
}
# 目标URL
url = 'https://www.bilibili.com/v/popular/rank/all'
# request请求获取的文本传入PyQuery初始化
resp = requests.get(url, headers=headers).text
doc = pq(resp)
# 获取class=rank-list 下所有li节点内容
# 遍历li节点
con1 = doc('.rank-list li')
for item in con1.items():
    rank = item('.num').text()   # 排名
    title = item('.content .info a:first-child').text()         # 视频标题
    link = 'https:' + item('.content .info a').attr('href')     # 视频链接
    # creator = item('.content .info .detail a span').text()        # UP主
    bicon_play, bicon_view, creator = item('.content .info .detail span').text().split(' ')
    # print(bicon_play, bicon_view, creator)     # 排名
    score = item('.content .info .pts div').text()
    sheet.append([rank, title, link, bicon_play, bicon_view, creator, score])
    logging.info([rank, title, link, bicon_play, bicon_view, creator, score])

wb.save(filename='data.xlsx')

运行效果如下：

作者：叶庭云

CSDN：https://yetingyun.blog.csdn.net/

本文来自公众号读者投稿，欢迎各位童鞋向公号投稿，点击下面图片了解详情！

 后台回复「微信群」，将邀请加入读者交流群。

延伸阅读

Python数据之道
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
爬虫解析利器 PyQuery 的使用
叶庭云 成为自己的光
01-24 1710
爬虫解析利器 PyQuery 的使用，爬取B站视频热搜榜单数据。
Python爬虫PyQuery库基本用法入门教程
01-20
本文实例讲述了Python爬虫PyQuery库基本用法。分享给大家供大家参考，具体如下： PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。 官网地址：http://pyquery.readthedocs.io/en/latest/ jQuery参考文档： http://jquery.cuishifeng.cn/ 1、字符串的初始化 from pyquery im
Python爬虫项目PyQuery全网最全介绍
程序之雅
03-19 2994
PyQuery是一个Python库，它提供了一种用于解析HTML、XML和JSON文档的非常直观和方便的方式。它基于jQuery库的选择器语法，并支持类似于XPath的表达式。
一起学爬虫——PyQuery常用用法总结
weixin_30622181的博客
12-03 1754
什么是PyQuery PyQuery是一个类似于jQuery的解析网页工具，使用lxml操作xml和html文档，它的语法和jQuery很像。和XPATH，Beautiful Soup比起来，PyQuery更加灵活，提供增加节点的class信息，移除某个节点，提取文本信息等功能。 初始化PyQuery对象 html文档的所有操作都需要PyQuery对象来完成，初始化PyQuery对象主要...
19-爬虫解析利器pyquery详解
热门推荐
bigzql的博客
10-15 1万+
强大灵活的网页解析库。如果你觉得正则写起来太麻烦，或者BeautifulSoup语法太难记，如果你熟悉jQuery的语法，那么pyquery就是最佳选择。它与jQuery api相同，可以无缝迁移 1.pyquery库的了解 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好。 1.1 pyquery库的安装方法: 在cmd输入:pip install pyquery 1.2 pyquery库的引用:(注意大小写) from pyq
Python爬虫辅助利器PyQuery模块的安装使用攻略
09-21
### Python爬虫辅助利器PyQuery模块的安装使用攻略 #### 概述 PyQuery是一个强大的Python库，它模仿了jQuery的语法，使开发者能够轻松解析HTML文档并从中抽取所需的信息。对于那些从事Web爬虫开发的人员来说，...
python爬虫开发之PyQuery模块详细使用方法与实例全解
09-17
PyQuery模块详解与实例应用 PyQuery是Python中一个用于处理XML和HTML文档的库，它的设计灵感来源于jQuery，因此对于熟悉jQuery的开发者来说，使用PyQuery会感到非常亲切。这个库提供了简洁且强大的API，使得在...
Python网络爬虫神器PyQuery的基本使用教程
09-20
主要给大家介绍了关于Python网络爬虫神器PyQuery的基本使用教程，文中通过示例代码介绍的非常详细，对大家学习使用PyQuery具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。
python爬虫-pyquery详解.ipynb
05-22
python爬虫-pyquery详解.ipynb代码python爬虫-pyquery详解.ipynb
Day33.爬虫基础之PyQuery
Tomandjava的博客
04-12 690
爬虫基础之PyQuery 文章目录爬虫基础之PyQuery前言一. PyQuery 基本操作1.1 初始化1.1.1 字符串初始化1.1.2 URL 初始化1.1.3 文件初始化1.2 基本 CSS 选择器1.3 查找元素1.3.1 子元素1.4 遍历1.4.1 单个元素二. PyQuery 高级操作2.1 获取信息2.1.1 获取属性2.1.2 获取文本2.1.3 获取 HTML2.2 [DOM操作](https://baike.baidu.com/item/DOM/8065263)2.2.1 addC
PyQuery详细教学(保姆级别)
wangzhuanjia的博客
01-30 5610
注：来源于崔庆才<<python3爬虫实战开发2>>本人学习并分享，略有补充。 1.准备工作 如果你对Web编程有所了解，如果你比较喜欢CSS选择器，如果你对jquery有所了解，那么这里有一个更适合你的解析库pyquery pip3 install pyquery 2.初始化 在用pyquery库解析HTML文本的时候，需要先将其初始化为一个PyQuery对象。 初始化有很多种方法，比如直接传入字符串，传入url、文件名称，等等。 字符串初始化 这种方式很多方式直接把HTML的
PyQuery 简介
gly的博客
02-17 677
PyQuery（基于lxml模块） Python四个爬虫解析方法之一 pip install pyquery 安装 html = """ <html lang="en"> <head> 简单好用的 <title>PyQuery</title> </head> <body>...
Python- 玩转数据-PyQuery库
s_unbo的博客
02-10 1153
Python- 玩转数据-PyQuery库 一、说明 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，和XPATH，Beautiful Soup比起来，PyQuery更加灵活，提供增加节点的class信息，移除某个节点，提取文本信息等功能 使用lxml操作xml和html文档。 二、初始化PyQuery对象 html文档的所有操作都需要PyQuery对象来完成，初始化PyQuery对象主要有三种方式，分别是通过网址、字符串和文件名创建。 方式一：通过网址
PyQuery用法详解
weixin_45213878的博客
04-21 1913
人生苦短，我用Python PyQuery是强大而又灵活的网页解析库，如果你觉得正则写起来太麻烦，如果你觉得BeautifulSoup语法太难记，如果你熟悉jQuery的语法 那么，PyQuery就是你绝佳的选择。 一、初始化方式，有三种，可以传入字符串，传入url，传入文件。 字符串初始化 html = ‘’’ first item second item third item fourth item
3.3 pyquery 的使用
最新发布
学编程的菜恐龙的博客
03-06 1502
简要概述了pyquery的安装、初始化、查找节点、获取节点属性和文本、CSS选择器等操作
Python3爬虫之PyQuery库的使用
qq_33168924的博客
11-12 523
1.PyQuery库的介绍 PyQuery库是一个强大又灵活的网页解析库。如不不熟悉正则，BeautifulSoup中的语法不熟，但是熟悉jQuery的语法，那么使用PyQuery是最佳的选择。 2.PyQuery的安装 使用下面命令的前提是已经安装了anaconda，并且环境变量配置正确。 cmd命令：pip install pyquery 3.用法详解 html = ''' <div&g...
PyQuery详解
shifengboy的博客
10-18 755
为什么选择PyQuery？ Python爬虫解析库，主流的有 PyQuery Beautifulsoup Scrapy Selectors 正则表达式。 PyQuery和scrapy Selectors都是基于lxml模块，而lxml和正则表达式都是C语言写的，只有Beautifulsoup是用纯Python编写的，所以在实测中，Beautifulsoup 的解析速度比其他几种慢了5倍以上！...
python爬虫之pyquary详解
naer_chongya的博客
05-23 1547
本文介绍了PyQuery库的安装、基本用法以及两个实践应用。PyQuery库能够很好地与Python爬虫进行整合，提高我们的工作效率。如果您对Python爬虫和PyQuery库感兴趣，可以尝试自己动手实现更多的实例，进一步了解和掌握相关技术。
关于DOM4J对xml的解析步骤
weixin_44835937的博客
09-08 390
DOM4J解析XML 掌握 步骤: 1. //引入jar文件 dom4j.jar 2. //创建一个指向XML文件的输入流 3. FileInputStream fis = new FileInputStream("xml文件的地址"); 4. //创建一个XML读取工具对象 5. SAXReader sr = new SAXReader(); 6. //使用读取工具对象, 读取XML文档的输入流 , 并得到文档对象 7. Document doc = sr.read(fis); 8. //通
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值