Python 爬虫十六式 - 第六式：JQuery的假兄弟-pyquery-CSDN博客

PyQuery：一个类似jquery的python库

学习一时爽，一直学习一直爽

Hello，大家好，我是 Connor，一个个从无到有的技术小白。上一次我们说到了 BeautifulSoup 美味的汤，BeautifulSoup 很适合刚刚接触爬虫的新手使用。虽然 BeautifulSoup 好用，但是也有它的局限性。今天我们来讲一讲 PyQuery，让我们以 JQuery的方式来快速提取我们想要的内容。废话不多说，让我们开始吧。

1. PyQuery 的简介

pyquery 允许您在 xml 文档上进行 jquery 查询。API 尽可能与 jquery 类似。pyquery 使用lxml 进行快速 xml 和 html 操作。当然这并不能用于生成 JavaScript 代码或者与 JavaScript 进行代码交互。所以，如果你想在 Python 上运行 JavaScript 代码，那么 pyquery 不是一个好的选择。

2. PyQuery 的简单使用

pyquery还是非常容易上手的。现在，我们以下面的这段 xml 代码为例，进行演示：

html = """
<html>
    <head>
        <title>我的示例</title>
    </head>	
    <body>
        <div class="book">
       		<a class="book_title" id="book" href="abc.html">百炼成钢</a>
        	<p class="book_author" id="author" >王者之势</p>
         	<p class="time" id="time">2019/01/13</p>
         </div>
    </body>
</html>
"""
复制代码

首先，我们先将这段文档变成 PyQuery 对象，pyquery的操作基本都是通过PyQuery 对象来进行的。你可以这样做：

In [2]: from pyquery import PyQuery

In [3]: doc = PyQuery(html)

In [4]: type(doc)
Out[4]: pyquery.pyquery.PyQuery
复制代码

使用 CSS 选择器可以快速地对节点进行选择，CSS 选择器是一种快速高效的选择方式，它可以在页面中实现一对一，一对多，多对一的多种控制，使用 CSS 选择器无疑是一种快速便捷的提取方式，你只需要像JQuery一样进行选择可以了：

In [10]: print(doc(".book"))
<div class="book">
               <a class="book_title" id="book" href="abc.html">百炼成钢</a>
            <p class="book_author" id="author">王者之势</p>
             <p class="time" id="time">2019/01/13</p>
         </div>
复制代码

可以看到，只要像JQuery一样进行选择就可以轻而易举的将我们想要的东西就选择出来了，而且不需要像Xpath一样去找它的路径

3. 使用 PyQuery 选择单一节点

3.1 通过节点名称进行选择

在 pyquery 中，你可以通过节点名来对节点进行简单的选择，当某个节点在文档中只出现一次的时候，这种方式是最简单的，你无需考虑其他因素的影响，就像这样：

In [11]: c = doc("a")

In [12]: print(c)
<a class="book_title" id="book" href="abc.html">百炼成钢</a>
复制代码

可以看到，很轻松的就将我们想要的节点选取出来了，但是很多时候某个节点有很多个，很少有单独出现一次的情况，这个时候我们就需要通过别的方法来进行选择了

3.2 通过属性进行选择

你也可以通过节点的属性来选择一个节点，当某个节点的某个属性在文档中是唯一的时候，这是最方便的做法。在上面的例子文档中，有很多的节点都拥有唯一的属性，所以，您可以这样做：

In [13]: c = doc("#author")

In [14]: print(c)
<p class="book_author" id="author">王者之势</p>
复制代码

我们可以看到，通过单独的属性是很容易选取出我们想要的的内容的，这只是 id 属性，我们也可以使用 class 属性来进行快速选择，其写法也和 JQuery 相同，这里不再演示。但是当我们遇到其他的属性的时候该怎么办？我们可以通过指明属性的名称和值来进行选择，就像这样：

In [15]: c = doc('[href="abc.html"]')

In [16]: print(c)
<a class="book_title" id="book" href="abc.html">百炼成钢</a>
复制代码

就像这样，我们只是通过一个href属性就选择出了我们想要的节点。当然，有些时候某个属性也是众多节点一起使用的，这个时候你可以结合我们讲的第一种方法，通过节点名称来进行选择，将节点与属性进行结合，来进行选择：

In [17]: c = doc('p[id="author"]')

In [18]: print(c)
<p class="book_author" id="author">王者之势</p>
复制代码

通过上面的方法，还是基本上很容易满足我们的需求了，但是有些时候，当我们有更高的需求的时候，我们需要用到css的伪类选择器，下面，我们将介绍伪类选择器：

3.3 通过伪类来进行选择

当某些节点拥有多个，或者与其它节点有太多重复属性的时候，我们就需要用到伪类选择器，伪类选择器出了可以使用css自带的伪类选择器之外，pyquery 还提供了类似 JQuery 一样的非标准伪类选择器，这些伪类选择器可以帮助我们快速的进行选择：

In [19]: c = doc("p:first")

In [20]: print(c)
<p class="book_author" id="author">王者之势</p>
复制代码

伪类选择器支持几乎所有的 CSS 标准伪类以及 JQuery 的非标准伪类:

CSS 标准伪类

选择器	示例	示例说明
:checked	input:checked	选择所有选中的表单元素
:disabled	input:disabled	选择所有禁用的表单元素
:empty	p:empty	选择所有没有子元素的p元素
:enabled	input:enabled	选择所有启用的表单元素
:first-of-type	p:first-of-type	选择每个父元素是p元素的第一个p子元素
:last-child	p:last-child	选择所有p元素的最后一个子元素
:last-of-type	p:last-of-type	选择每个p元素是其母元素的最后一个p元素
:not(selector)	:not(p)	选择所有p以外的元素
:nth-child(n)	p:nth-child(2)	选择所有 p 元素的父元素的第二个子元素
:nth-last-child(n)	p:nth-last-child(2)	选择所有p元素倒数的第二个子元素
:nth-last-of-type(n)	p:nth-last-of-type(2)	选择所有p元素倒数的第二个为p的子元素
:nth-of-type(n)	p:nth-of-type(2)	选择所有p元素第二个为p的子元素
:only-of-type	p:only-of-type	选择所有仅有一个子元素为p的元素
:only-child	p:only-child	选择所有仅有一个子元素的p元素
:root	root	选择文档的根元素
:target	#news:target	选择当前活动#news元素(点击URL包含锚的名字)
:link	a:link	选择所有未访问链接
:visited	a:visited	选择所有访问过的链接
:active	a:active	选择正在活动链接
:hover	a:hover	把鼠标放在链接上的状态
:focus	input:focus	选择元素输入后具有焦点
:first-child	p:first-child	选择器匹配属于任意元素的第一个子元素的元素
:lang(language)	p:lang(it)	为元素的lang属性选择一个开始值

上表部分取自--菜鸟教程

JQuery 非标准伪类

选择器	示例	示例说明
:first	p:first	选择第一个元素
:last	p:last	选择最后一个元素
:odd	p:odd	选择所有元素中索引为奇数的元素
:even	p:even	选择所有元素中索引为偶数的元素
:eq(index)	p:eq(0)	选择所有元素中索引为0的元素
:lt(index)	p:lt(3)	选择所有元素中索引小于3的元素
:gt(index)	p:gt(2)	选择所有元素中索引大于2的元素
:header	:header	选择所有的H1-H6的元素
:hidden	p:hidden	选取所有元素中包含有隐藏属性的元素
:contains(text)	p:contains(王者)	选择所有元素中内容包含有‘王者’的元素
:has(selector)	div:has(p)	选择所有带有元素的元素
:input	:input	选择所有的`<input>`元素
:(type)type指input的类型	:submit	选择所有type为submit的`<input>`元素

input的类型包括
button submit reset text checkbox image hidden file

通过上列的伪类你可以更快更方便的对节点进行选择，当然 pyquery 并不只有这些功能，它还有更多的功能：

4. 使用 PyQuery 选择多个节点

当我们使用 PyQuery 进行选择的时候，难免会遇到某个节点都是使用同一种方式来进行封装的，他们的描述方式都是相同的，亦或者我们想要批量的选取某个东西的时候，他们的封装形式是相同的，这样很难进行单一的选取。或者说单一选取太麻烦了。此时我们就需要考虑选择后的遍历问题了。因为一个东西如果不能遍历，对我们取值有很大的困难，PyQuery 自然也是可以进行遍历的，可能你会这样做：

In [21]: c = doc('p')

In [22]: for item in c:
    ...:     print(item)
    ...:
<Element p at 0x21395a4b448>
<Element p at 0x21395a12888>
复制代码

你会发现，通过这种方式打印出来的只是一个内存地址，并没有实际的东西。当我们需要遍历 PyQuery 选择出来的东西的时候，我们需要使用 items() 方法。通过这种方法可以将选择的多个内容区分开来：

In [23]: c = doc('p').items()

In [24]: for item in c:
    ...:     print(item)
    ...:
<p class="book_author" id="author">王者之势</p>

<p class="time" id="time">2019/01/13</p>

复制代码

通过 items() 方法就可以打印出每一项的内容了。

5. PyQuery 的其它使用方法

5.1 text() 方法

当我们获取到指定的节点的时候，有时候我们需要获取他的文本内容，这个时候就需要的使用 text() 方法了，这个方法可以取出当前 PyQuery 对象中的文本内容，例如：

In [25]: c = doc('#author')

In [26]: print(c.text())
王者之势
复制代码

5.2 attr() 方法

有些时候我们不只是需要提取文本内容，有时候我们也需要提取节点中的属性内容，例如 href，这个时候我们就需要使用到 attr() 方法，通过该方法来进行属性内容的提取：

In [13]: tags = doc('a').attr('href')
    ...: print(tags)
abc.html
复制代码

5.3 html() 方法

如果你所选择的当前节点还有子节点，那么你可以通过 html() 方法将当前节点下的所有子元素选择出来，当然，你也可以对它进行更改，改变当前节点下的内容：

In [27]: c = doc('div')

In [28]: print(c.html())

               <a class="book_title" id="book" href="abc.html">百炼成钢</a>
            <p class="book_author" id="author">王者之势</p>
             <p class="time" id="time">2019/01/13</p>
复制代码

或者你可以通过向html()方法中给参数的方法来改变当前节点下的子节点内容：

In [29]: c = doc('div')

In [30]: print(c.html('abcdefghijklmnopqrstuvwxyz'))
<div class="book">abcdefghijklmnopqrstuvwxyz</div>
复制代码

5.4 find() 方法

在找到某一节点的内容之后，你还可以通过 find() 方法来在当前基础上进行二次查找甚至是多次查找，find() 的使用方法和正常的查找方式是相同的：

In [31]: c = doc('div').find('#author')

In [32]: print(c)
<p class="book_author" id="author">王者之势</p>
复制代码

5.5 children() 方法

通过 children() 方法可以快速的选取出某个节点下的所有子节点，该方法同样适用于多次查找，该方法的使用方法和 find() 方法类似：

In [33]: c = doc('div').children('p')

In [34]: print(c)
<p class="book_author" id="author">王者之势</p>
             <p class="time" id="time">2019/01/13</p>
复制代码

当 children() 方法不给参数的时候会默认查找出所有的子节点，请按需使用。

5.6 has_class() 方法

有时候我们寻找某一节点需要用到 class 但每次都单独去取该属性再进行判断有些太麻烦了，PyQuery 为我们提供了 has_class() 方法，该方法可以快速的对节点是否拥有指定 class 属性进行判断：

In [35]: tags = doc.find('a').has_class('book_title')
    ...: print(tags)
True
复制代码

5.7 is_() 方法

有的时候我们并不能只验证 class 属性，还有其他的属性需要我们进行验证，或者使用其它属性来进行验证会更加的方便，这个时候我们就需要使用 is_() 方法。这个方法可以匹配节点中的任意属性：

In [12]: tags = doc('p').eq(0).is_('[id="author"]')
    ...: print(tags)
True
复制代码

5.9 对上述方法的总结

总的来说，我觉得 pyquery 其实并没有像想像中的那么好用，使用起来手感和 Xpath 差不了多少，甚至我个人认为 Xpaht 更加好用一些，其实如果你仔细地看 pyquery 的源码你就会发现，其实它也使用了 Xpaht ，比较讽刺吧，但是 pyquery 确实是在 Xpath 的基础上又做出了很大的改进，比如 伪类选择器 这在一定情况下确实是要比 Xpath 要好用的多，所以其实解析并没有什么难易，看你是否找对了适合的工具，就好比是否找到了适合脚的鞋子。找对了工具，事半功倍，找错了工具，事倍功半。希望你能够灵活运用。