PyQuery: 爬虫界最简洁优雅的库

最新推荐文章于 2022-10-18 11:30:00 发布

Python 学习者

最新推荐文章于 2022-10-18 11:30:00 发布

阅读量1.3k

点赞数 2

文章标签： Python

原文链接：https://www.jianshu.com/u/8f2987e2f9fb

版权

简洁的PyQuery库

pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好。特别适合进行访问和解析网页数据。

PyQuery库官方文档 https://pythonhosted.org/pyquery/index.html

本文章节：

初始化为PyQuery对象
常用的CCS选择器
伪类选择器
查找标签
获取标签信息
高级方法

一、初始化为PyQuery对象

html_string = """
<html lang="en">
    <head>
        简单好用的
        <title>PyQuery</title>
    </head>
    <body>
        <ul id="container">
            <li class="object-1">Python</li>
            <li class="object-2">大法</li>
            <li class="object-3">好</li>
        </ul>
    </body>
</html>
"""

相当于BeautifulSoup库的初识化方法，将html转化为BeautifulSoup对象。

bsObj = BeautifulSoup(html, ‘html.parser’)

PyQuery库也要有自己的初始化。

1.1 将字符串初始化

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，互帮互助,
群里还有不错的视频学习教程和PDF电子书！
'''
from pyquery import PyQuery 

#初始化为PyQuery对象
doc = PyQuery(html_string)
print(type(doc))
print(doc)

Run

<class 'pyquery.pyquery.PyQuery'>
<html lang="en">
    <head>
        简单好用的
        <title>PyQuery</title>
    </head>
    <body>
        <ul id="container">
            <li class="object-1">Python</li>
            <li class="object-2">大法</li>
            <li class="object-3">好</li>
        </ul>
    </body>
</html>

1.2 将html文件初始化

#filename参数为html文件路径
doc = PyQuery(filename = 'test.html')
print(type(doc))
print(doc)

1.3 对网站访问并初始化

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，互帮互助,
群里还有不错的视频学习教程和PDF电子书！
'''
response = PyQuery(url = 'https://www.baidu.com')
print(type(response))
print(response)

Run

<class 'pyquery.pyquery.PyQuery'>
<html> <head><meta http-equiv="content-type" content="text/html;charset=utf-8"/><meta http-equiv="X-UA-Compatible" content="IE=Edge"/><meta content="always" name="referrer"/><link rel="stylesheet" type="text/css"href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css"/><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head> <body link="#0000cc"> <div id="wrapper"> <div id="head"> <div class="head_wrapper"> <div class="s_form"> <div class="s_form_wrapper"> <div id="lg"> <img hidefocus="true" src="//www.baidu.com/img/bd_logo1.png" width="270" height="129"/> </div> <form id="form" name="f" action="//www.baidu.com/s" class="fm"> <input type="hidden" name="bdorz_come" value="1"/> <input type="hidden" name="ie" value="utf-8"/> <input type="hidden" name="f" value="8"/> <input type="hidden" name="rsv_bp" value="1"/> <input type="hidden" name="rsv_idx" value="1"/> <input type="hidden" name="tn" value="baidu"/><span class="bg s_ipt_wr"><input id="kw" name="wd" class="s_ipt" value="" maxlength="255" autocomplete="off" autofocus="autofocus"/></span><span class="bg s_btn_wr"><input type="submit" id="su" value="ç™¾åº¦ä¸€ä¸‹" class="bg s_btn" autofocus=""/></span> </form> </div> </div> <div id="u1"> <a href="http://news.baidu.com" name="tj_trnews" class="mnav">æ–°é—»</a> <a href="https://www.hao123.com" name="tj_trhao123" class="mnav">hao123</a> <a href="http://map.baidu.com" name="tj_trmap" class="mnav">åœ°å›¾</a> <a href="http://v.baidu.com" name="tj_trvideo" class="mnav">è§†é¢‘</a> <a href="http://tieba.baidu.com" name="tj_trtieba" class="mnav">è´´å§</a> <noscript> <a 。。。。<div id="ftCon"> <div id="ftConw"> <p id="lh"> <a href="http://home.baidu.com">å³äºŽç™¾åº¦</a> <a href="http://ir.baidu.com">About Baidu</a> </p> <p id="cp">©2017 Baidu <a href="http://www.baidu.com/duty/">ä½¿ç”¨ç™¾åº¦å‰å¿è¯»</a>  <a href="http://jianyi.baidu.com/" class="cp-feedback">æ„è§åé¦ˆ</a> äº¬ICPè¯030173å·  <img src="//www.baidu.com/img/gs.gif"/> </p> </div> </div> </div> </body> </html>

上面的字符串出现乱码，所以需要设置使用encoding参数

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，互帮互助,
群里还有不错的视频学习教程和PDF电子书！
'''
response = PyQuery(url = 'https://www.baidu.com', encoding='utf-8')
print(type(response))
print(response)
-------------------------------------------------
<class 'pyquery.pyquery.PyQuery'>
<html> <head><meta http-equiv="content-type" content="text/html;charset=utf-8"/><meta http-equiv="X-UA-Compatible" content="IE=Edge"/><meta content="always" name="referrer"/><link rel="stylesheet" type="text/css" href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css"/><title>百度一下，你就知道</title></head> <body link="#0000cc"> <div id="wrapper"> <div id="head"> <div class="head_wrapper"> ength="255" autocomplete="off" autofocus="autofocus"/></span><span class="bg s_btn_wr"><input type="submit" id="su" 。。。
              </script> <a href="//www.baidu.com/more/" name="tj_briicon" class="bri" style="display: block;">更多产品</a> </div> </div> </div> <div id="ftCon"> <div id="ftConw"> <p id="lh"> <a href="http://home.baidu.com">关于百度</a> <a href="http://ir.baidu.com">About Baidu</a> </p> <p id="cp">©2017 Baidu <a href="http://www.baidu.com/duty/">使用百度前必读</a>  <a href="http://jianyi.baidu.com/" class="cp-feedback">意见反馈</a> 京ICP证030173号  <img src="//www.baidu.com/img/gs.gif"/> </p> </div> </div> </div> </body> </html>

二、常用的CCS选择器

从这一节开始，我们就要对PyQuery对象进行操作，获得我们想要的各种数据。你会看到解析网页，不论什么苦，基本原理实际上是没有区别的，学会了一种解析库。再看其他解析库文档，是很容易理解的。

在 CSS 中，选择器是一种模式，用于选择需要添加样式的元素。

常用的css选择器

在这里插入图片描述
本文只讲clas id 和element最常见的css选择器。对css不太懂了，也没关系，可以去w3c官网的css选择器，查看下文档

#使用上文的doc
print(doc)

Run

<html lang="en">
    <head>
        简单好用的
        <title>PyQuery</title>
    </head>
    <body>
        <ul id="container">
            <li class="object-1">Python</li>
            <li class="object-2">大法</li>
            <li class="object-3">好</li>
       </ul>
    </body>
</html>

2.1 打印id为container的标签

print(doc('#container'))
print(type(doc('#container')))

Run

<ul id="container">
            <li class="object-1">Python</li>
            <li class="object-2">大法</li>
            <li class="object-3">好</li>
        </ul>

<class 'pyquery.pyquery.PyQuery'>

2.2 打印class为object-1的标签

print(doc('.object-1'))

Run

<li class="object-1">Python</li>

打印标签名为body的标签

print(doc('body'))

Run

<body>
        <ul id="container">
            <li class="object-1">Python</li>
            <li class="object-2">大法</li>
            <li class="object-3">好</li>
        </ul>
    </body>

2.3 多种css选择器使用

选出ul节点，有很多种表达方式。比如ul节点（该ul节点中的属性键值对为id=container）

print(doc("ul[id=container]"))

Run

<ul id="container">
          <li class="object-1">Python</li>
          <li class="object-2">大法</li>
          <li class="object-3">好</li>
       </ul>

三、伪类选择器
在这里插入图片描述

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，互帮互助,
群里还有不错的视频学习教程和PDF电子书！
'''
pseudo_html ="""
<html lang="en">
    <head>
        简单好用的
        <title>PyQuery</title>
    </head>
    <body>
        <ul id="container">
            <li class="object-1">Python</li>
            <li class="object-2">大法</li>
            <li class="object-3">好</li>
            <li class="object-4">好</li>
            <li class="object-6">好玩</li>
        </ul>
    </body>
</html>
"""


pseudo_doc = PyQuery(pseudo_html)
print(pseudo_doc)

Run

<html lang="en">
    <head>
        简单好用的
        <title>PyQuery</title>
    </head>
    <body>
        <ul id="container">
            <li class="object-1">Python</li>
            <li class="object-2">大法</li>
            <li class="object-3">好</li>
            <li class="object-4">好</li>
            <li class="object-6">好玩</li>
        </ul>
    </body>
</html>

3.1 伪类nth

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，互帮互助,
群里还有不错的视频学习教程和PDF电子书！
'''
print(pseudo_doc('li:nth-child(2)'))

#打印第一个li标签
print(pseudo_doc('li:first-child'))

#打印最后一个标签
print(pseudo_doc('li:last-child'))

Run

<li class="object-2">大法</li>

<li class="object-1">Python</li>

<li class="object-6">好玩</li>

3.2 contains

#找到含有Python的li标签
print(pseudo_doc("li:contains('Python')"))

#找到含有好的li标签
print(pseudo_doc("li:contains('好')"))

Run

<li class="object-1">Python</li>

<li class="object-3">好</li>
            
<li class="object-4">好</li>
            
<li class="object-6">好玩</li>

四、查找标签

PyQuery对象拥有很多实用的定位方法
在这里插入图片描述

print(doc)

Run

<html lang="en">
    <head>
        简单好用的
        <title>PyQuery</title>
    </head>
    <body>
        <ul id="container">
            <li class="object-1">Python</li>
            <li class="object-2">大法</li>
            <li class="object-3">好</li>
        </ul>
    </body>
</html>

获得所有的li标签

doc('li')

Run

[<li.object-1>, <li.object-2>, <li.object-3>]

查看li标签的类型

[type(l) for l in doc('li')]

Run

[lxml.etree._Element, lxml.etree._Element, lxml.etree._Element]

doc(‘li’)返回的不是PyQuery类型，而是lxml.etree.Element类型。Element.text获取节点的文本内容

[l.text for l in doc('li')]

Run

['Python', '大法', '好']

获取所有的li，并以PyQuery形式逐个迭代

doc.items('li')

Run

<generator object PyQuery.items at 0x10e977a98>

查看doc.items迭代出的对象的数据类型

[type(l) for l in doc.items('li')]

Run

[pyquery.pyquery.PyQuery, pyquery.pyquery.PyQuery, pyquery.pyquery.PyQuery]

PyQuery类型拥有.text()方法

[l.text() for l in doc.items('li')]

Run

['Python', '大法', '好']
-------------------
doc('body')

Run

[<body>]

获得doc节点的（当前为整个文档）的 id=‘container’ 的节点

doc.find('#container')

Run

[<ul#container>]

id=‘container’ 的节点的子节点们

id=‘container’ 的节点的子节点们（节点内带字符串）

doc.find('#container').children()

Run

[<li.object-1>, <li.object-2>, <li.object-3>]
-----------------
doc.find('#container').contents()

Run

['\n            ', <Element li at 0x10e57ac08>, '\n            ', <Element li at 0x10d687848>, '\n            ', <Element li at 0x10d687e08>, '\n        ']

id=‘container’ 的节点的第二个子节点

doc.find('#container').contents().eq(1)

Run

[<li.object-1>]

id=‘container’ 的节点的子节点中不含有 class=‘object-2’ 的节点

doc.find('#container').children().not_('.object-2')

Run

[<li.object-1>, <li.object-3>]

.map方法传入两个参数，分别是索引值和element。

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，互帮互助,
群里还有不错的视频学习教程和PDF电子书！
'''
def func(i, e):
    return PyQuery(e).text()
doc('li').map(func)

Run

['Python', '大法', '好']
-----------------------
doc('li').map(lambda i,e: PyQuery(e).text())

Run

['Python', '大法', '好']

输出ul的子节点的html

doc('ul').html()

Run

'\n            <li class="object-1">Python</li>\n            <li class="object-2">大法</li>\n            <li class="object-3">好</li>\n        '

五、pyquery高级用法

PyQuery与BeautifulSoup对比，我们会发现PyQuery可以对网址发起请求。比如

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，互帮互助,
群里还有不错的视频学习教程和PDF电子书！
'''
from pyquery import PyQuery
PyQuery(url = 'https://www.baidu.com')

5.1 opener参数

PyQuery对百度网址进行请求，并将请求返回的响应数据处理为PyQuery对象。一般pyquery库会默认调用urllib库，如果想使用selenium或者requests库，可以自定义PyQuery的opener参数。

opener参数作用是告诉pyquery用什么请求库对网址发起请求。常见的请求库如urllib、requests、selenium。这里我们自定义一个selenium的opener。

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，互帮互助,
群里还有不错的视频学习教程和PDF电子书！
'''
from pyquery import PyQuery
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options

#用selenium访问url
def selenium_opener(url):
    #我没有将Phantomjs放到环境变量，所以每次用都要放上路径
    #driver = PhantomJS(executable_path = 'phantomjs的路径')
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    driver = Chrome(executable_path='chromedriver所在的路径',
                    options=chrome_options)

    driver.get(url)
    html = driver.page_source
    driver.quit()
    return html

#注意，使用时opener参数是函数名，没有括号的！
PyQuery(url='https://www.baidu.com/', 
        opener=selenium_opener)

Run

[<html>]

这时候我们就能上面学到的知识对PyQuery对象进行操作，提取有用的信息。

5.2 cookies、headers

在requests用法中，一般为了访问网址更加真实，模仿成浏览器。一般我们需要传入headers，必要的时候还需要传入cookies参数。而pyquery库就有这功能，也能伪装浏览器。

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，互帮互助,
群里还有不错的视频学习教程和PDF电子书！
'''
from pyquery import PyQuery
 
cookies = {'Cookie':'你的cookie'}
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'}


PyQuery(url='https://www.baidu.com/',
        headers=headers,
        cookies=cookies)

Run注意，我这里返回的内容你可能觉得很少，是因为这是PyQuery对象。PyQuery.html()

[<html>]

5.3 让你的selenium带上pyquery功能

如何让driver访问的网址得到的网页直接变为PyQuery对象，更方便提取数据？

本来我想用Phantomjs自定义一个类，让selenium拥有pyquery的功能。后来测试发现phantomjs去年不再支持selenium，因为曾经的无头浏览器phantomjs具有不可替代的作用，但如今chrome和firefox都能提供无头浏览器的功能。

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，互帮互助,
群里还有不错的视频学习教程和PDF电子书！
'''
from pyquery import PyQuery
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
 
 
class Browser(Chrome):
    #Browser继承Chrome类， 声明Chrome为无头模式访问网站
    def __init__(self, executable_path):
        chrome_options = Options()
        chrome_options.add_argument('--headless')
        chrome_options.add_argument('--disable-gpu')
        Chrome.__init__(self, 
                        executable_path=executable_path,
                        options=chrome_options)

    #property是装饰器，需要知道@property下面紧跟的函数，实现了类的属性功能。
    @property    
    def dom(self):
        return PyQuery(self.page_source)

 
browser = Browser(executable_path='chromedriver所在的路径')
browser.get(url='https://www.baidu.com/')
print(type(browser.dom))

Run

<class 'pyquery.pyquery.PyQuery'>

这几个对pyquery功能的扩展，我觉得实现方式很不错，很美观简洁，以后我会多模仿，比如用函数或类的方式，对已有的库及函数进行功能加持。

Python 学习者

关注

2
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
PyQuery: 爬虫界最简洁优雅的库

简洁的PyQuery库pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好。特别适合进行访问和解析网页数据。PyQuery库官方文档 https://pythonhosted.org/pyquery/index.html本文章节：初始化为PyQuery对象常用的CCS选择器伪类选择器查找标签获取标签信息高级...
复制链接

扫一扫