PyQuery库的使用

最新推荐文章于 2024-08-13 12:05:08 发布
最新推荐文章于 2024-08-13 12:05:08 发布
阅读量4.7k 收藏 6
点赞数
分类专栏： Python

PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。

官网地址：http://pyquery.readthedocs.io/en/latest/
jQuery参考文档： http://jquery.cuishifeng.cn/

初始化

初始化的时候一般有三种传入方式：传入字符串，传入url,传入文件

字符串初始化

复制代码 
html = '''
<div>
    <ul>
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
</div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
print(doc)
print(type(doc))
print(doc('li'))
复制代码

结果如下：

由于PyQuery写起来比较麻烦，所以我们导入的时候都会添加别名：
from pyquery import PyQuery as pq

这里我们可以知道上述代码中的doc其实就是一个pyquery对象，我们可以通过doc可以进行元素的选择，其实这里就是一个css选择器，所以CSS选择器的规则都可以用，直接doc(标签名)就可以获取所有的该标签的内容，如果想要获取class 则doc('.class_name'),如果是id则doc('#id_name')....

URL初始化

from pyquery import PyQuery as pq

doc = pq(url="http://www.baidu.com",encoding='utf-8')
print(doc('head'))

文件初始化

我们在pq()这里可以传入url参数也可以传入文件参数，当然这里的文件通常是一个html文件，例如：pq(filename='index.html')

基本的CSS选择器

复制代码 
html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
print(doc('#container .list li'))
复制代码

这里我们需要注意的一个地方是doc('#container .list li')，这里的三者之间的并不是必须要挨着，只要是层级关系就可以,下面是常用的CSS选择器方法：

查找元素

子元素
children,find
代码例子：

复制代码 
html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
print(type(items))
print(items)
lis = items.find('li')
print(type(lis))
print(lis)
复制代码

运行结果如下

从结果里我们也可以看出通过pyquery找到结果其实还是一个pyquery对象，可以继续查找，上述中的代码中的items.find('li') 则表示查找ul里的所有的li标签
当然这里通过children可以实现同样的效果,并且通过.children方法得到的结果也是一个pyquery对象

li = items.children()
print(type(li))
print(li)

同时在children里也可以用CSS选择器

li2 = items.children('.active') print(li2)

父元素
parent,parents方法

通过.parent就可以找到父元素的内容，例子如下：

复制代码 
html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
container = items.parent()
print(type(container))
print(container)
复制代码

通过.parents就可以找到祖先节点的内容，例子如下：

复制代码 
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
parents = items.parents()
print(type(parents))
print(parents)
复制代码

结果如下：从结果我们可以看出返回了两部分内容，一个是的父节点的信息，一个是父节点的父节点的信息即祖先节点的信息

同样我们通过.parents查找的时候也可以添加css选择器来进行内容的筛选

兄弟元素
siblings

复制代码 
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.list .item-0.active')
print(li.siblings())
复制代码

代码中doc('.list .item-0.active') 中的.tem-0和.active是紧挨着的，所以表示是并的关系，这样满足条件的就剩下一个了：thired item的那个标签了
这样在通过.siblings就可以获取所有的兄弟标签，当然这里是不包括自己的
同样的在.siblings()里也是可以通过CSS选择器进行筛选

遍历

单个元素

复制代码 
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)

lis = doc('li').items()
print(type(lis))
for li in lis:
    print(type(li))
    print(li)
复制代码

运行结果如下：从结果中我们可以看出通过items()可以得到一个生成器，并且我们通过for循环得到的每个元素依然是一个pyquery对象。

获取信息

获取属性
pyquery对象.attr(属性名)
pyquery对象.attr.属性名

复制代码 
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
a = doc('.item-0.active a')
print(a)
print(a.attr('href'))
print(a.attr.href)
复制代码

所以这里我们也可以知道获得属性值的时候可以直接a.attr(属性名)或者a.attr.属性名

获取文本
在很多时候我们是需要获取被html标签包含的文本信息,通过.text()就可以获取文本信息

复制代码 
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
a = doc('.item-0.active a')
print(a)
print(a.text())
复制代码

结果如下：

获取html
我们通过.html()的方式可以获取当前标签所包含的html信息，例子如下：

复制代码 
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
print(li.html())
复制代码

结果如下：

DOM操作

addClass、removeClass
熟悉前端操作的话，通过这两个操作可以添加和删除属性

复制代码 
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
li.removeClass('active')
print(li)
li.addClass('active')
print(li)
复制代码

attr,css
同样的我们可以通过attr给标签添加和修改属性，
如果之前没有该属性则是添加，如果有则是修改
我们也可以通过css添加一些css属性，这个时候，标签的属性里会多一个style属性

复制代码 
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
li.attr('name', 'link')
print(li)
li.css('font-size', '14px')
print(li)
复制代码

结果如下：

 

remove
有时候我们获取文本信息的时候可能并列的会有一些其他标签干扰，这个时候通过remove就可以将无用的或者干扰的标签直接删除，从而方便操作

复制代码 
html = '''
<div class="wrap">
    Hello, World
    <p>This is a paragraph.</p>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
wrap = doc('.wrap')
print(wrap.text())
wrap.find('p').remove()
print(wrap.text())
复制代码

结果如下：

pyquery中DOM的其他api操作参考：
http://pyquery.readthedocs.io/en/latest/api.html

qw_xingzhe
关注
专栏目录
如何使用PyQuery库？
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
07-19 474
​PyQuery是一个类似于jQuery的Python库，它提供了一种可用于解析和操作HTML文档的强大工具。如何使用PyQuery库呢，下面是使用PyQuery库的详细说明： 安装PyQuery PyQuery库可以通过pip安装。在终端中运行以下命令即可安装： pip install pyquery 导入PyQuery ​
Python 中 PyQuery 库
既然选择远方，便只顾风雨兼程！
02-27 3941
文章目录PyQuery库一、 简介1、 概述2、 安装3、 导包二、 用法详解1、 初始化1.1 字符串初始化1.2 URL 初始化1.3 文件初始化2、 CSS选择器2.1 属性选择器2.2 节点选择器2.3 筛选选择器3、元素操作3.1 遍历元素3.2 获取属性值4、 样式操作4.1 修改样式5、 获取值5.1 获取属性值5.2 获取文本值5.3 获取 HTML 元素三、 总结 PyQuery库 一、 简介 1、 概述 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析
python Pyquery库详细介绍，爬虫必备
03-11
python pyquery 库是学习爬虫必备的一个库，它解析强大，有超高的应用场景，可以帮你快速解析网页，找到你想找到的内容
python爬虫从入门到放弃（七）之 PyQuery库的使用
weixin_33860528的博客
06-02 904
PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。 官网地址：http://pyquery.readthedocs.io/en/latest/jQuery参考文档： ...
Python网络爬虫案例实战：解析网页：PyQuery 解析库
最新发布
andyyah晓波的博客
08-13 1603
前面介绍了BeautifulSoup 的用法，它是一个非常强大的网页解析库，你是否觉得它的一些方法用起来有点不适用？有没有觉得它的CSS选择器的功能没有那么强大？下面来介绍一个更适合的解析库—PyQuery。PyQuery库是jQuery的Python实现，能够以jQuery的语法来操作解析HTML 文档，易用性和解析速度都很好，使用起来还是可以的，有些地方用起来很方便简洁。
python爬虫从入门到放弃-python爬虫从入门到放弃（七）之 PyQuery库的使用
q6q6q的专栏
10-28 297
PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。初始化初始化的时候一般有三种传入方式：传入字符串，传入url,传入文件字符串初始化html = '''first it...
Python网络爬虫数据采集实战：网页解析库
大数据之眸
03-08 1813
​ 在了解爬虫基础、请求库和正则匹配库以及一个具体豆瓣电影爬虫实例之后，可能大家还对超长的正则表达式记忆犹新，设想如果想要匹配的条目更加多那表达式长度将会更加恐怖，这显然不是我们想要的，因此本文介绍的解析库可以帮助我们更加轻松地提取到特定信息。 目录 一、Xpath库 1.库简介 2.入门测试 3.基本方法 二、BeautifulSoup库 ...
python contains类似函数_五步教会你用python爬虫神器PyQuery！（内含详细步骤和代码）...
weixin_39850062的博客
11-19 362
前言：今天为大家带来的内容，是五步教会你用python爬虫神器PyQuery！(内含详细步骤和代码)，在这里还是要啰嗦下，为了有更好的观赏性，大部分代码用图片的方式呈现出来！喜欢的话不忘点赞关注不迷路哦！PyQuery库官方文档初始化为PyQuery对象常用的CCS选择器伪类选择器查找标签获取标签信息初始化为PyQuery对象相当于BeautifulSoup库的初识化方法，将html转化为Beau...
Python中的jquery PyQuery库使用小结
12-25
pyquery库是jQuery的Python实现，可以用于解析HTML网页内容，使用方法：复制代码 代码如下:from pyquery import PyQuery as pq1、可加载一段HTML字符串，或一个HTML文件，或是一个url地址，例：复制代码 代码如下:d ...
python之pyquery
X-wolf的博客
03-18 231
话不多少就是上代码 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2020-03-17 21:16 # @Author : 蓝狼 # @File : star_data_scrapy.py # @Desc : 明星资料抓取 import time import pymysql import requests...
python解析HTML之:PyQuery库的介绍与使用
weixin_34401479的博客
04-12 254
本篇大部分转载于https://www.jianshu.com/p/c07f7cd1b548 先放自已自己解析techweb一个网站图片的代码 from pyquery import PyQuery as pq headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 ' ...
Python爬虫入门之初遇lxml库
热门推荐
王德昌的博客
12-19 2万+
Python爬虫入门之初遇lxml库 爬虫是什么 所谓爬虫，就是按照一定的规则，自动的从网络中抓取信息的程序或者脚本。万维网就像一个巨大的蜘蛛网，我们的爬虫就是上面的一个蜘蛛，不断的去抓取我们需要的信息。 爬虫三要素 抓取 分析 存储 抓取网页 urllib库使用 import urllib.request response = urllib.request.urlopen('https://laoniu.blog.csdn.net/') print(response.read().dec
python解析库_python解析HTML之:PyQuery库的介绍与使用
weixin_39747075的博客
11-24 111
前言Python关于爬虫的库挺多的，也各有所长。了解前端的也都知道， jQuery 能够通过选择器精确定位 DOM 树中的目标并进行操作，所以我想如果能用 jQuery 去爬网页那就 cool 了。就搜了下看 Python 有没有与 DOM 相关的库什么的，还真找到了—— PyQuery ！PyQuery简介pyquery相当于jQuery的python实现，可以用于解析HTML网页等。它的语法与...
python网页解析库_Python_爬虫_BeautifulSoup网页解析库
weixin_39634022的博客
12-02 153
BeautifulSoup网页解析库from bs4 import BeautifulSoup0.BeautifulSoup网页解析库包含 的 几个解析器Python标准库【主要,系统自带;】使用方法： BeautifulSoup(markup,"html.parser")【注：markup是html文档】Python的内置标准库案例：from bs4 import BeautifulSoupso...
python 解析html网页
weixin_30567471的博客
05-08 379
pyquery库是jQuery的Python实现，可以用于解析HTML网页内容，使用方法： 代码如下: from pyquery import PyQuery as pq 1、可加载一段HTML字符串，或一个HTML文件，或是一个url地址，例： 代码如下: d = pq("<html><title>hello</title></html&g...
python提取网页中p标签中的内容_外行学 Python 爬虫 第三篇 内容解析
weixin_39667652的博客
11-20 2132
从网络上获取网页内容以后，需要从这些网页中取出有用的信息，毕竟爬虫的职责就是获取有用的信息，而不仅仅是为了下来一个网页。获取网页中的信息，首先需要指导网页内容的组成格式是什么，没错网页是由 HTML「我们成为超文本标记语言，英语：HyperText Markup Language，简称：HTML」 组成的，其次需要解析网页的内容，从中提取出我们想要的信息。HTML超文本标记语言（英语：HyperT...
python pyquery_python3解析库pyquery
weixin_39878989的博客
12-04 414
pyquery是一个类似jquery的python库，它实现能够在xml文档中进行jQuery查询，pyquery使用lxml解析器进行快速在xml和html文档上操作，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便1、pyquery安装pip方式安装：$pip install pyquery#它依赖cssselect和lxml包pyquery==1.4.0- ...
Python PyQuery库详解：jQuery风格的HTML处理
"本文主要介绍Python中的PyQuery库，它是一个类似于jQuery的...PyQuery库为Python开发者提供了一个强大且易于使用的工具，它简化了XML和HTML文档的处理，使得在Python中进行网页抓取、数据提取和DOM操作更加得心应手。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值