pyquery：轻松、灵活的处理html

最新推荐文章于 2024-03-06 16:29:36 发布
最新推荐文章于 2024-03-06 16:29:36 发布
阅读量587 收藏 1
点赞数
原文链接：http://www.cnblogs.com/traditional/p/11111357.html
版权

介绍

pyquery是一个专门用来解析html的库，从名字很容易想到jQuery，没错，这完全是仿照jQuery的语法实现的。如果用过jQuery，俺么pyquery很容易实现

初始化html

pyquery可以接收一个网址，自动下载内容，也可以接收已经下载好的字符串格式的html，当然也可以传入一个本地html文件。但是我们一般都会使用requests下载html页面，然后再将html页面以字符串的格式传进去

from pyquery import PyQuery


html = '''
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>古明地觉</title>
</head>
<body>
    <p id="bili"><a href="http://www.bilibili.com">想进入基佬的大门吗？还等什么，快点击吧</a></p>
    <p class="s1">my name is satori</p>
    <div>
        <p class="s1">古明地恋</p>
    </div>
    <table >
        <tbody>
            <tr>
                <td>姓名：</td>
                <td><input type="text" name="name"></td>
            </tr>
            <tr class="tr">
                <td>密码：</td>
                <td><input type="password" name="password"></td>
            </tr>
            <tr>
                <td></td>
                <td><input type="submit" value="提交"></td>
            </tr>
        </tbody>
    </table>
    <a href="http://www.baidu.com" target="_blank">百度</a>
    <a href="http://www.yahoo.com">雅虎</a>
</body>
</html>   
'''

p = PyQuery(html)  # 此时得到的是一个pyquery对象
print(type(p))  # <class 'pyquery.pyquery.PyQuery'>

# 如果打印p的话，会直接将我们传入的html打印出来，只不过p的类型是PyQuery

使用选择器

from pyquery import PyQuery


html = '''
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>古明地觉</title>
</head>
<body>
    <p id="bili"><a href="http://www.bilibili.com">想进入基佬的大门吗？还等什么，快点击吧</a></p>
    <p class="s1">my name is satori</p>
    <div>
        <p class="s1">古明地恋</p>
    </div>
    <table >
        <tbody>
            <tr>
                <td>姓名：</td>
                <td><input type="text" name="name"></td>
            </tr>
            <tr class="tr">
                <td>密码：</td>
                <td><input type="password" name="password"></td>
            </tr>
            <tr>
                <td></td>
                <td><input type="submit" value="提交"></td>
            </tr>
        </tbody>
    </table>
    <a href="http://www.baidu.com" target="_blank">百度</a>
    <a href="http://www.yahoo.com">雅虎</a>
</body>
</html>   
'''

p = PyQuery(html)
# 标签选择器
# 打印出标签为head的内容
print(p("head"))
"""
<head>
    <meta charset="UTF-8"/>
    <title>古明地觉</title>
</head>
"""
# 但是需要注意的是，这个打印出来的依旧是一个PyQuery类型
# 意味着我们可以进一步过滤，但是如果我想要字符串的话呢？直接调用str方法即可
print(str(p("head")))
"""
<head>
    <meta charset="UTF-8"/>
    <title>古明地觉</title>
</head>
"""
# 或者调用html方法，但是此时获取到的不包括相应的标签名
# head标签本身没了，只保留里面的内容，此时也是一个字符串的类型
print(p("head").html())
"""

    <meta charset="UTF-8"/>
    <title>古明地觉</title>

"""
# 但如果有很多标签，比如p标签,在调用html方法的时候，只会打印第一个p标签里面的内容
print(p("p"))
"""
<p id="bili"><a href="http://www.bilibili.com">想进入基佬的大门吗？还等什么，快点击吧</a></p>
    <p class="s1">my name is satori</p>
    <p class="s1">古明地恋</p>
"""
print(p("p").html())
"""
<a href="http://www.bilibili.com">想进入基佬的大门吗？还等什么，快点击吧</a>
"""

# 获取文本
print(p("head").text())
"""
古明地觉
"""
# 可以看到只获取了纯文本，因为只能title标签里面有文本，而title在head里面

# css选择器
# 获取id=bili的标签
print(p("#bili"))
"""
<p id="bili"><a href="http://www.bilibili.com">想进入基佬的大门吗？还等什么，快点击吧</a></p>

"""

# 获取class=s1的标签
print(p(".s1"))
"""
<p class="s1">my name is satori</p>
    <p class="s1">古明地恋</p>
"""

# 获取tbody下的class=tr的标签下的所有td标签
print(p("tbody .tr td"))
"""
<td>密码：</td>
                <td><input type="password" name="password"/></td>
            
"""
# 可以看到这和jQuery的语法基本上是一致的
# 如果我只想获取第一个的话,索引要是越界的话，也不会报错，会打印空行
print(p("tbody .tr td").eq(0))
"""
<td>密码：</td>
"""

# 常用方法：
'''
p(".color")：获取class=color的标签
p("#color")：获取id=color的标签
p("*")：获取所有的标签
p("p")：获取所有的p标签
p("div,p")：获取所有的div标签和p标签
p("div p")：获取所有div标签内部的p标签
p("[target]")：选择带有target属性的所有元素
p("[target=_blank]")：选择带有target=_blank的所有元素
'''

filter和find

from pyquery import PyQuery


html = '''
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>古明地觉</title>
</head>
<body>
    <p id="bili"><a href="http://www.bilibili.com">想进入基佬的大门吗？还等什么，快点击吧</a></p>
    <p class="s1">my name is satori</p>
    <div>
        <p class="s1">古明地恋</p>
    </div>
    <table >
        <tbody>
            <tr>
                <td>姓名：</td>
                <td><input type="text" name="name"></td>
            </tr>
            <tr class="tr">
                <td>密码：</td>
                <td><input type="password" name="password"></td>
            </tr>
            <tr>
                <td></td>
                <td><input type="submit" value="提交"></td>
            </tr>
        </tbody>
    </table>
    <a href="http://www.baidu.com" target="_blank">百度</a>
    <a href="http://www.yahoo.com">雅虎</a>
</body>
</html>   
'''

p = PyQuery(html)

print(p("p"))  # 这是所有的p标签
"""
<p id="bili"><a href="http://www.bilibili.com">想进入基佬的大门吗？还等什么，快点击吧</a></p>
    <p class="s1">my name is satori</p>
    <p class="s1">古明地恋</p>
    
"""

# 我只要class=s1的p标签，可以使用filter过滤
print(p("p").filter(".s1"))  # 表示在找到的p标签中，过滤出class=s1的p标签
"""
<p class="s1">my name is satori</p>
    <p class="s1">古明地恋</p>
    
"""

# 如果要按照文本过滤呢？比如我想找出文本内容等于'古明地恋'的p标签
print(p("p").filter(lambda _, this: PyQuery(this).text() == '古明地恋'))
"""
<p class="s1">古明地恋</p>
    
"""

# find
# 首先filter是过滤得到符合条件的标签
# 而find是在符合条件的标签里面找
# 举个例子
"""
p("p").filter(".fuck")表示的是有很多的p标签，我在选出的这么多p标签中，找到class=fuck的p标签
p("p").find(".fuck")表示的是有很多的p标签，我在选出的这么多p标签中，找到其内部满足class=fuck的其他标签
"""
print(p("div").filter(".s1"))
"""

"""
print(p("div").find(".s1"))
"""
<p class="s1">古明地恋</p>
    
"""
# 可以看到p("div").filter(".s1")是空的，因为这表示在选出来的div标签中，找出class=s1的div
# 而p("div").find(".s1")表示找到div里面满足class=s1的其他标签

# filter和find可以无限使用的，因为返回的都是一个PyQuery类型
# p("div p .cls li a") == p("div").find("p").find(".cls").find("li").find("a")

获取属性

from pyquery import PyQuery


html = '''
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>古明地觉</title>
</head>
<body>
    <p id="bili"><a href="http://www.bilibili.com">想进入基佬的大门吗？还等什么，快点击吧</a></p>
    <p class="s1">my name is satori</p>
    <div>
        <p class="s1">古明地恋</p>
    </div>
    <table >
        <tbody>
            <tr>
                <td>姓名：</td>
                <td><input type="text" name="name"></td>
            </tr>
            <tr class="tr">
                <td>密码：</td>
                <td><input type="password" name="password"></td>
            </tr>
            <tr>
                <td></td>
                <td><input type="submit" value="提交"></td>
            </tr>
        </tbody>
    </table>
    <a href="http://www.baidu.com" target="_blank">百度</a>
    <a href="http://www.yahoo.com">雅虎</a>
</body>
</html>   
'''

p = PyQuery(html)

a_tag = p("a")
print(a_tag.attr("href"))  # http://www.bilibili.com

"""
可以直接调用attr方法，传入要获取的属性值即可。
但是注意到即便满足条件的标签有多个，和html一样，调用attr获取的时候只会得到第一个
"""
# 因此可以使用eq
print(p("a").eq(0).attr("href"))  # http://www.bilibili.com
print(p("a").eq(1).attr("href"))  # http://www.baidu.com

# 但是还有一个问题，就是我们不知道获得了几个p标签
# 难道要一个一个的数吗？
# 当然不用，一种笨的方法，就是我不断的循环，如果没有内容了就break
# 但是PyQuery内部给我们提供了一个items方法，可以自动的迭代，如果迭代完毕自动退出。
for i in p("a").items():
    print(i.attr("href"))
"""
http://www.baidu.com
http://www.yahoo.com
"""

转载于:https://www.cnblogs.com/traditional/p/11111357.html

CWG2017
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pyquery：类似于python的jquery库
02-04
pyquery：类似于python的jquery库
python Pyquery库详细介绍，爬虫必备
03-11
python pyquery 库是学习爬虫必备的一个库，它解析强大，有超高的应用场景，可以帮你快速解析网页，找到你想找到的内容
3.3 pyquery 的使用
最新发布
学编程的菜恐龙的博客
03-06 1289
简要概述了pyquery的安装、初始化、查找节点、获取节点属性和文本、CSS选择器等操作
HTML解析技术之pyquery
UK - UofL HW - SDE
04-25 720
HTML解析技术之pyquery一、安装二、简介三、开始使用1. 初始化(1). 字符串初始化(2). URL初始化(3). 文件(路径+名)初始化2. CSS选择器操作(1). 查找节点子孙节点和子节点祖先节点和父节点兄弟节点(2). 遍历节点(3). 获取信息获取属性信息获取文本信息(4). 节点的操作类属性的增加与删除标签的属性，纯文本和HTML内容的更改节点的删除3. 伪类选择器参考...
Python爬虫 - 使用pyquery库中的PyQuery方法解析HTML【示例】
⚡
03-04 1550
import requests from pyquery import PyQuery url = "https://book.douban.com/top250" html = requests.get(url).content.encode("utf-8") data = PyQuery(html) #id:使用#限定该标记 #class:使用.限定该标记 #具体使用见下方示例 data...
PyQuery 文档标注
Cooli7wa的博客
06-13 915
官方文档PyQuery complete API用来筛选 PyQuery.eq(index)[source] >>> d = PyQuery('<p class="hello">Hi</p><p>Bye</p><div></div>') >>> d('p').eq(0) [<p.hello>] >>> d('p').eq(1) [<p>] >>> d('p').eq(2) [] PyQuery.fi
pyquery报错：UnicodeDecodeError: ‘gbk’ codec can’t decode byte
12-22
今天想使用pyquery库读取本地HTML文件时报错：UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xa1 in position 164: illegal multibyte sequence。 翻译一下就是UnicodeDecodeError: ‘gbk’编解码器无法...
pquery:HTML的grep； pyquery的CLI
05-06
pyquery的CLI 演示版 $curl -s https://github.com/hupili/pquery | pquery '.content a' -p text .gitignore LICENSE MANIFEST.in README.md pquery setup.py pquery旨在集成到您的UNIX管道中。 安装 pip install ...
Python_pyquery.pdf
06-20
python_pyquery学习总结，爬取html和解析html数据必备
python3解析库pyquery的深入讲解
12-25
pyquery是一个类似jquery的python库，它实现能够在xml文档中进行jQuery查询，pyquery使用lxml解析器进行快速在xml和html文档上操作，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便 ...
30. PyQuery: 基于HTML的CSS选择器
Vec_Kun的博客
01-25 829
我们在前面的章节认识了CSS与CSS选择器的概念, 本节我们介绍一个Python模块: PyQuery.可能有些小伙伴认识Java中的JQuery, 其实PyQuery和它是异曲同工的.1. pyquery(选择器)2. items() 当选择器选择的内容很多的时候. 需要一个一个处理的时候3. attr(属性名) 获取属性信息4. text() 获取文本本节我们讨论了PyQuery的基本用法和他的特殊之处，下一节将进行实战练习，用实例展示何时用PyQuery最合适。
HTML文档解析之Pyquery
08-05 410
html文档解析——pyquery
pyquery解析库进行HTML文本标签的增加和删除操作
木头生辉的专栏
11-18 445
pyquery对HTML文本增加和删除操作通过append()和remove()方法. 源代码: from pyquery import PyQuery as py html = ''' <div class="div1"> <ul class="ul1"> <li class="li1">this is li.<span>this is span...
lxml与pyquery解析html
trayvontang的博客
10-29 873
lxml 首先来了解一下lxml，很多常用的解析html的库都用到了lxml这个库，例如BeautifulSoup、pyquery。 下面我们介绍一下lxml关于html解析的3个Element。 _Element _Element获取 from lxml import etree text = ''' <div> <ul> <li cla...
python pyquery 进行html解析
hi_chen_xingwang的博客
09-27 3405
在使用python进行网页解析的时候,利用好一些第三方开源框架能够有效快速的对网页进行解析,提取去我们所需要的信息 python本身自带的htmlparser 太过笨重,在解析中有诸多不便,在这利用pyquery 进行html 进行解析
Python——pyquery解析html
cod16xx的博客
07-26 2183
一篇写的很好的pyquery文章 pyquery官方文档quick start:from pyquery import PyQuery as pq from lxml import etree import urllib d = pq("<html></html>") d = pq(etree.fromstring("<html></html>")) d = pq(url=your_url) d
Python全栈开发-Python爬虫-07 PyQuery详解
kc44601的博客
06-29 315
PyQuery详解 pyquery允许你对xml文档进行jquery查询，API尽可能类似jquery,pyquery使用lxml进行快速xml和html操作 PyQuery是python中一个强大而又灵活的网页解析库，如果你觉得正则写起来太麻烦，又觉得BeautifulSoup语法太难记，如果你熟悉jQuery的语法那么，PyQuery就是你绝佳的选择。 安装： pip install pyquery 一. 初始化 1.1 基于标签选择器 html = ''' <div> <u
PyQuery读写html文件
taiq的专栏
07-12 4552
原html文件 tmpl.html http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> http://www.w3.org/1999/xhtml"> 无标题文档   python代码 from pyquery import PyQuery as pq from lxml import etre
NameError: name 'pyquery' is not defined
01-09
通过使用pyquery，你可以使用CSS选择器来定位和提取HTML或XML文档中的元素，进行数据的提取和处理。 你可以使用以下命令安装pyquery库： ``` pip install pyquery ``` 安装完成后，你可以通过以下方式导入pyquery...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值