pyquery-的简单使用

最新推荐文章于 2024-07-21 12:08:03 发布
最新推荐文章于 2024-07-21 12:08:03 发布
阅读量166 收藏 2
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44830823/article/details/108051485
版权

pyquery 的初步了解（实例引入）

简单举例

from pyquery import PyQuery as pq

html = '''
<div>
<ul>
<li class="item-O"><a href="linkl.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>
'''

doc = pq(html)
print(doc)


# 输出：
<div>
<ul>
<li class="item-O"><a href="linkl.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</li></ul>
</div>

字符串

from pyquery import PyQuery as pq
import requests

# doc1 与 doc2 功能相同
doc1 = pq(url='https://www.cnblogs.com/liyihua/')
print(doc1('title'))

doc2 = pq(requests.get('https://www.cnblogs.com/liyihua/').text)
print(doc1('title'))


1# 输出：
<title>李亦华 - 博客园</title>&#13;
  
<title>李亦华 - 博客园</title>&#13;

URL

from pyquery import PyQuery as pq

doc = pq(filename='test.html')
print(doc('li'))


# 输出：
<li class="item-O"><a href="linkl.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</li>


# 文件内容：
<div>
<ul>
<li class="item-O"><a href="linkl.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>

pyquery 中的基本CSS选择器

实例切入：

from pyquery import PyQuery as pq

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
</div>
'''

doc = pq(html)
print(doc('#container .list li'))

print(
    type(
        doc('#container .list li')
    )
)


# 输出：
<li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     
<class 'pyquery.pyquery.PyQuery'>

查找节点

获取子孙节点

说明：find()方法查找的是所有子孙节点，如果只查找子节点，可以使用children()方法。

from pyquery import PyQuery

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
</div>
'''

doc = PyQuery(html)
items = doc('.list')

print(
    type(items),
    items,
    sep='\n'
)

print(
    type(items.find('li')),
    items.find('li'),
    sep='\n'
)

# 输出：
<class 'pyquery.pyquery.PyQuery'>
<ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>

<class 'pyquery.pyquery.PyQuery'>
<li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>

获取父节点

from pyquery import PyQuery

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
1</div>
13 '''

doc = PyQuery(html)
items = doc('.list')

print(items, '\n')

print(
    type(items.parent()),
    items.parent(),
    sep='\n'
)

# 输出：
<ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 

<class 'pyquery.pyquery.PyQuery'>
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
</div>

兄弟节点

from pyquery import PyQuery

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
</div>
'''

doc = PyQuery(html)

# 选择class为list的节点内部class为item-0和active的节点
items = doc('.list .item-0.active')

print(
    type(items.siblings()),
    items.siblings(),
    sep='\n'
)

print("\n", items.siblings('.active'))

# 输出：
<class 'pyquery.pyquery.PyQuery'>
<li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0">first item</li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     

 <li class="item-1 active"><a href="link4.html">fourth item</a></li>

遍历节点

from pyquery import PyQuery

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
</div>
'''

doc = PyQuery(html)
lis = doc('li').items()             # 调用items()方法，得到一个生成器

for li in lis:
    print(
        li, 
        type(li)
    )

# 输出：
<li class="item-0">first item</li>
          <class 'pyquery.pyquery.PyQuery'>
<li class="item-1"><a href="link2.html">second item</a></li>
          <class 'pyquery.pyquery.PyQuery'>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
          <class 'pyquery.pyquery.PyQuery'>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
          <class 'pyquery.pyquery.PyQuery'>
<li class="item-0"><a href="link5.html">fifth item</a></li>
      <class 'pyquery.pyquery.PyQuery'>

获取信息

  1. attr()方法获取属性

    from pyquery import PyQuery

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
</div>
'''

doc = PyQuery(html)
a = doc('.item-0.active a')
print(
    a,
    type(a),
    a.attr('href'),             # 也可以用a.attr.href，两者作用相同
    sep='\n'
)

    # 输出：
<a href="link3.html"><span class="bold">third item</span></a>
<class 'pyquery.pyquery.PyQuery'>
link3.html

  2. text()方法获取文本

    from pyquery import PyQuery

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
</div>
'''

doc = PyQuery(html)
li = doc('li')

print(
    li.html(),                  # 获取节点的内部文本
    li.text(),                  # 获取节点文本，返回结果是纯文字内容
    type(li.text()),
    sep='\n'
)

    # 输出：
first item
first item second item third item fourth item fifth item
<class 'str'>

节点操作

添加和移除class

add_class() 和 remove_class() ---- 添加class、移除class

from pyquery import PyQuery

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
</div>
'''

doc = PyQuery(html)
li = doc('.item-0.active')

print(li)
print(li.remove_class('active'))
print(li.add_class('active'))

# 输出：
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         
<li class="item-0"><a href="link3.html"><span class="bold">third item</span></a></li>
         
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

attr、text 和 html 方法

from pyquery import PyQuery

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
     </ul>
</div>
'''

doc = PyQuery(html)

li = doc('.item-0.active')
print(li)

li.attr('name', 'link')         # 添加属性name，属性值为link
print(li)

li.text('change item')          # 将节点内部的内容改为'change item'
print(li)

li.html('<span>change item</span>')         # 将节点内部的内容改为'<span>change item</span>'
print(li)


# 输出：
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
   
<li class="item-0 active" name="link"><a href="link3.html"><span class="bold">third item</span></a></li>
     
<li class="item-0 active" name="link">change item</li>
    
<li class="item-0 active" name="link"><span>change item</span></li>

# 输出：
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
   
<li class="item-0 active" name="link"><a href="link3.html"><span class="bold">third item</span></a></li>
     
<li class="item-0 active" name="link">change item</li>
    
<li class="item-0 active" name="link"><span>change item</span></li>

删除节点

from pyquery import PyQuery

html = '''
<div class="LeeHua">
LiYihua
<ul class="201802004731">liyihua</ul>
</div>
'''

doc = PyQuery(html)
Leehua = doc('.LeeHua')
print("移除节点ul前的输出：\n"+Leehua.text())

Leehua.find('ul').remove()
print("移除节点ul后的输出：\n"+Leehua.text())

# 输出：
移除节点ul前的输出：
LiYihua
liyihua
移除节点ul后的输出：
LiYihua

伪选择器

示例：

from pyquery import PyQuery

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
            <li class="item-0">first item</li>
            <li class="item-1"><a href="link2.html">second item</a></li>
            <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
            <li class="item-1 active"><a href="link4.html">fourth item</a></li>
            <li class="item-0"><a href="link5.html">fifth item</a></li>
        </ul>
    </div>
</div>
'''

doc = PyQuery(html)

# 选择属于父元素的第一个子元素的每个 <li> 元素。
li = doc('li:first-child')
print(li)

# 选择属于父元素的最后一个子元素的每个 <li> 元素。
li = doc('li:last-child')
print(li)

# 选择属于其父元素的第二个子元素的每个 <li> 元素
li = doc('li:nth-child(2)')
print(li)

# 选择属于其父元素的最后两个子元素的每个 <li> 元素
li = doc('li:gt(2)')
print(li)

# 选择属于父元素的第偶个子元素的每个 <li> 元素。
li = doc('li:nth-child(2n)')
print(li)

# 选择包含'second'的每个元素
li = doc('li:contains(second)')
print(li)

# 输出：
<li class="item-0">first item</li>
            
<li class="item-0"><a href="link5.html">fifth item</a></li>
       
<li class="item-1"><a href="link2.html">second item</a></li>
            
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
            <li class="item-0"><a href="link5.html">fifth item</a></li>
        
<li class="item-1"><a href="link2.html">second item</a></li>
            <li class="item-1 active"><a href="link4.html">fourth item</a></li>
            
<li class="item-1"><a href="link2.html">second item</a></li>

CSS 选择器的用法：http://www.w3school.com.cn/cssref/css_selectors.asp

作者：Lee Hua

aknoob
关注
专栏目录
python3爬虫(7)--使用pyquery的CSS选择器（Selectors）解析数据
Jalen big data analysis的博客
01-24 2567
在利用python进行就网页数据采集时，为们往往通过urllib或requests发送请求，返回的数据结构是json格式的，我们就使用json解析；其他格式的网页数据可以采用XPath(lxml)解析数据或者使用Beautiful Soup解析数据或者使用pyquery解析数据等很多方法。其中，pyquery同样是一个强大的网页解析工具，它提供了和jQuery类似的语法来解析HTML文档，支持CS...
19-爬虫解析利器pyquery详解
bigzql的博客
10-15 1万+
强大灵活的网页解析库。如果你觉得正则写起来太麻烦，或者BeautifulSoup语法太难记，如果你熟悉jQuery的语法，那么pyquery就是最佳选择。它与jQuery api相同，可以无缝迁移 1.pyquery库的了解 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好。 1.1 pyquery库的安装方法: 在cmd输入:pip install pyquery 1.2 pyquery库的引用:(注意大小写) from pyq
PyQuery用法详解
一只小鹰
05-25 1万+
PyQuery是强大而又灵活的网页解析库，如果你觉得正则写起来太麻烦，如果你觉得BeautifulSoup语法太难记，如果你熟悉jQuery的语法 那么，PyQuery就是你绝佳的选择。 一、初始化方式，有三种，可以传入字符串，传入url，传入文件。 字符串初始化 html = ''' &lt;div&gt; &lt;ul&gt; &lt;li class="item-...
Python中PyQuery库的使用总结
热门推荐
myKernel
03-27 4万+
pyquery库是jQuery的Python实现，可以用于解析HTML网页内容，我个人写过的一些抓取网页数据的脚本就是用它来解析html获取数据的。他的官方文档地址是：http://packages.python.org/pyquery/。今天重新看了一遍整个文档，把它的一些使用方法整理了一下，做个记录。 使用方法 from pyquery import PyQuery as pq 1.可加
pyquery 的使用
最新发布
qq_39217312的博客
07-21 640
安装： pip install pyquery。
pyquery 与 XPath 的使用记录
Herishwater的博客
08-31 1458
概述 在爬虫工作中，对页面的解析工作是不可避免的，因此如何准确高效的匹配出目标信息，对于数据的提取尤为重要。对于网页的节点来说，它可以定义 id、class 或其他属性。而且节点之间还有层次关系，在网页中可以通过 XPath 或 CSS 选择器来定位一个或多个节点。 在 Python 中，除了可以继续使用正则表达式外，还提供了一系列解析库，其中比较强大的库有 lxml、Beautiful Soup...
爬虫学习笔记2——pyquery的简单使用
weixin_44874830的博客
01-16 137
关于pyquery的简单使用 List item 第一：导入PyQuery对象 from pyquery import PyQuery as pq 第二：初始化。 初始化pq有三种方式： 1.传入字符串； html = ''' <div> <ul> <li><a>传入字符串</a></li> </ul> &...
PyQuery 的简单使用
qq_42021166的博客
03-02 62
【代码】PyQuery 的简单使用。
python：requests-html 一个人性化的HTML解析库
一名小测试
11-04 4755
requests-html 这个库旨在使解析HTML(例如抓取web)尽可能简单和直观，比较人性化的库。 当使用这个库时，你会自动得到: 完整的JavaScript支持! CSS选择器。 XPath选择器，用于模糊的核心。 模拟用户代理(像一个真正的web浏览器)。 自动跟踪重定向。 连接池和cookie持久性。 Installation C:\Users\lifeng>pipinstallrequests-html Collectingrequests-html Downl...
pyquery-1.3.0
10-25
PyQuery是一个强大的Python库，它为Python开发者提供了类似于jQuery的API，使得在Python中处理XML和HTML文档变得异常简单。PyQuery的版本1.3.0是这个库的一个稳定版本，特别适用于Python2.7环境中的网页抓取和数据...
Python库 | pyquery-1.2.15-py2.py3-none-any.whl
02-18
在Python环境中，安装PyQuery库非常简单。只需运行以下命令： ```bash pip install pyquery-1.2.15-py2.py3-none-any.whl ``` 这将完成PyQuery的安装，使其可以被你的Python项目所使用。 ### PyQuery基本用法 1....
Python爬虫辅助利器PyQuery模块的安装使用攻略
09-21
1. **在线安装**：最简单的方式是使用pip命令在线安装PyQuery： ```bash pip install pyquery ``` 如果您的环境中没有pip，请确保安装它或使用`easy_install`（如示例所示）。 2. **离线安装**：如果您无法连接...
Splash的简单使用
李亦华的博客
08-18 4813
Splash Lua脚本http://localhost:8050，端口为8050 入口及返回值 function main(splash, args) splash:go("http://www.baidu.com") splash:wait(0.5) local title = splash:evaljs("document.title") return {title=title} end 通过 evaljs()方法传人 JavaSer刷脚本， 而 document.title 的执行
Python-网络爬虫代理设置
李亦华的博客
08-18 1140
requests http/https代理设置 import requests proxy = '120.78.225.5:3128' proxies = { 'http': 'http://' + proxy, 'https': 'https://' + proxy, } try: response = requests.get('http://httpbin.org/get', proxies=proxies) print(response.text) except r
Python-网络爬虫之-Ajax-数据爬取
李亦华的博客
08-18 635
Ajax 概述 Ajax是利用 JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。 Ajax基本原理 发送请求 解析内容 渲染页面 查看请求 Ajax结果提取 爬取一个人微博的前面10页 分析过程 Python代码实现 from urllib.parse import urlencode import requests # 对https://m.weibo.cn/u/2830678474网页审查分析 base_url = 'https://m.
Python-自动化库-Selenium-的使用
李亦华的博客
08-18 616
title: Python 自动化库 Selenium 的使用 date: 2020-04-30 15:17:03 tags: Python网络爬虫 categories: Python comments: true toc: true thumbnail: …/…/thumbnail/image16.png banner: @Author: YiHua Lee @Address: Guangdong province, China 基本使用 from selenium import webdrive.
爬虫数据存储之文件存储
李亦华的博客
08-17 613
TXT 文件存储 爬取知乎上的热门话题，获取话题的问题、作者、答案，然后保存在TXT文本中 import requests from pyquery import PyQuery url = 'https://www.zhihu.com/explore' headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) '
Python-极客验证码识别
李亦华的博客
08-18 568
简单验证码识别 import tesserocr from PIL import Image image = Image.open('PFET.jpg') # 利用 Image 对象的 convert() 方法传入参数 "L" ，即可将图片转化为灰度图像 image = image.convert('L') # 阈值默认为127 threshold = 127 table = [] for i in range(256): if i < threshold: tabl
Python爬虫PyQuery模块详解与使用示例
在Python代码中，我们通常使用`from pyquery import PyQuery as pq`来导入并重命名PyQuery为pq，以便后续使用。 3. **解析对象初始化** - **字符串初始化**：如果你已经有一个HTML或XML字符串，可以直接传递给...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值