逆向爬虫05 pyquery模块

最新推荐文章于 2024-05-28 08:52:12 发布

一个小黑酱

最新推荐文章于 2024-05-28 08:52:12 发布

阅读量984

点赞数 1

分类专栏：爬虫学习文章标签：爬虫前端 html

本文链接：https://blog.csdn.net/weixin_40743639/article/details/122098502

版权

爬虫学习专栏收录该内容

45 篇文章 18 订阅

订阅专栏

python pyquery模块

pyquery模块是继bs4模块和xpath模块之后，最接近前端CSS选择器和前端框架jQuery语法的一种用于提取html代码的python模块，熟悉前端代码的可以很快上手pyquery，不同于bs4和xpath，pyquery可以动态的往html代码块中增删改查标签，属性和文本，方便一些前端代码的特殊处理。

下面老规矩，依然和bs4和xpath模块一样，分别介绍如何查找：
① 标签 ② 属性 ③ 文本

然后再介绍如何对html代码块进行增删改查

一、查找标签

from pyquery import PyQuery

html = """
    <ul>
        <li class="aaa"><a href="http://www.google.com">谷歌</a></li>
        <li class="aaa"><a href="http://www.baidu.com">百度</a></li>
        <li class="bbb" id="qq"><a href="http://www.qq.com">腾讯</a></li>
        <li class="bbb"><a href="http://www.yuanlai.com">原来</a></li>
    </ul>
"""

# 加载html内容
p = PyQuery(html)

# 利用标签选择器查找标签
a = p("a")	# 找这段html代码中的所有a标签
print(a)	# <a href="http://www.google.com">谷歌</a><a href="http://www.baidu.com">百度</a><a href="http://www.qq.com">腾讯</a><a href="http://www.yuanlai.com">原来</a>

# 利用类选择器和后代选择器找标签，其中.aaa表示找class是aaa的标签，空格a表示找它的后代a标签
a = p(".aaa a")     # 找class属性是aaa的后代a标签
print(a)	# <a href="http://www.google.com">谷歌</a><a href="http://www.baidu.com">百度</a>

# 利用id选择器和后代选择器找标签，其中#qq表示找id是qq的标签，空格a表示找它的后代a标签
a = p("#qq a")		# 找id属性是qq的后代a标签
print(a)	# <a href="http://www.qq.com">腾讯</a>

二、查找属性和文本

from pyquery import PyQuery

html = """
    <ul>
        <li class="aaa"><a href="http://www.google.com">谷歌</a></li>
        <li class="aaa"><a href="http://www.baidu.com">百度</a></li>
        <li class="bbb" id="qq"><a href="http://www.qq.com">腾讯</a></li>
        <li class="bbb"><a href="http://www.yuanlai.com">原来</a></li>
    </ul>
"""

# 加载html内容
p = PyQuery(html)

# 在找到标签的基础上，就可以找属性和文本了
qq_href = p("#qq a").attr("href")	# 标签.attr("属性")查找属性
qq_text = p("#qq a").text()			# 标签.text()查找文本
print(qq_href)	# http://www.qq.com
print(qq_text)	# 腾讯

# 坑，如果多个标签同时拿属性，只能默认拿到第一个
href = p("li a").attr("href")
print(href)		# http://www.google.com

# 多个标签拿属性，文本，当匹配结果是多个标签时，返回的是生成器，需要通过for循环来取出里面的内容
it = p("li a").items()
for item in it:     # 从迭代器中拿到每一个标签
    href = item.attr("href")        # 拿到href属性
    text = item.text()
    print(text, href)	# 谷歌 http://www.google.com 百度 http://www.baidu.com 腾讯 http://www.qq.com 原来 http://www.yuanlai.com

三、对html代码进行增删改查

from pyquery import PyQuery

html = """
    <HTML>
        <div class="aaa">哒哒哒</div>
        <div class="bbb">嘟嘟嘟</div>
    </HTML>
"""

p = PyQuery(html)

# 在xxx标签后面添加xxx新标签
p("div.aaa").after("""<div class="ccc">吼吼吼</div>""")
print(p)	# <HTML><div class="aaa">哒哒哒</div><div class="ccc">吼吼吼</div><div class="bbb">嘟嘟嘟</div></HTML>

# 在xxx标签内部最后添加标签
p("div.aaa").append("""<span>我爱你</span>""")
print(p)	# <HTML><div class="aaa">哒哒哒<span>我爱你</span></div><div class="bbb">嘟嘟嘟</div></HTML>

# 修改属性
p("div.bbb").attr("class", "aaa")
print(p)	# <HTML><div class="aaa">哒哒哒</div><div class="aaa">嘟嘟嘟</div></HTML>

# 新增属性
p("div.bbb").attr("id", "12306")
print(p)	# <HTML><div class="aaa">哒哒哒</div><div class="bbb" id="12306">嘟嘟嘟</div></HTML>

# 删除属性
p("div.bbb").remove_attr("id")
print(p)	# <HTML><div class="aaa">哒哒哒</div><div class="bbb">嘟嘟嘟</div></HTML>

# 删除标签
p("div.bbb").remove()
print(p)	# <HTML><div class="aaa">哒哒哒</div></HTML>

方法总结

"""
下面除了第一个是返回的pyquery标签对象，其余的都是pyquery对象下的方法
    1. pyquery(选择器)，用于查找标签
    2. items() 当选择器选的内容很多的时候，需要一个一个处理的时候
    3. attr(属性名) 获取属性信息
    4. text() 获取文本
    5. after(标签) 在某个标签后面添加标签
    6. append(标签) 在某个标签里面的尾部添加标签
    7. attr(属性名，值) 属性名有则修改，无则添加
    8. remove_attr(属性名) 删除属性
    9. remove() 删除标签
"""

未提到的知识点

"""
    xpath可以在/aaa/bbb[1]/ccc的方式来查找某个层节点下同属bbb节点的第一个
    pyquery通过"aaa > bbb:nth-child(1) >> ccc"的方式来完成类似功能

    xpath可以在/aaa/bbb[@class='jay']的方式来查找bbb中有class属性为jay的标签
    而pyquery通过"aaa > bbb:contains(购车经销商)"来查找bbb中文本有"购车经销商"的标签
"""

下集预告

"""
	总的来说pyquery相比于bs4和xpath来说更加强大，但是它使用起来也稍显复杂，可能需要结合前端jQuery知识一起食用。
	下一篇笔记考虑将三种模块的所有标签，属性，文本查找方式拿出来对比总结一下，方便在合适的情况下，使用合适的模块。
	尽可能将所有可能查找的情况都一一进行举例类比，筛选出每一种情况下最方便使用的模块方法。
"""