做过前端开发的同志都应该知道或了解过 jＱquery，jQuery 是一个用来处理 DOM 的 JavaScript 库 。pyquery 说白了就是 jＱquery 的 Python 版本。不得不说 pyquery 在爬虫网页解析上的又一大神器。
pyquery 相当于 juquery 一样的 Python 库，它有类似于 jQuery 的 API 且可以通过 lxml 模块快速处理 XML 和 HTML 文档，具体可以查看 pyquery – PyQuery complete API 。
一.初始化为 PyQuery 对象
下面所有实例的开头声明都如下
from pyquery import PyQuery as pq
from lxml import etree
import urllib这里有四种初始化方法
１．直接字符串
# pyquery 的四种初始化方式
# pq 参数可以直接传入 HTML 代码，doc 现在就相当于 jQuery 里面的 $ 符号。
doc=pq("<html></html>")2.lxml.etree 方法处理
#先用 lxml 的 etree 处理一下代码，这样如果你的 HTML 代码出现一些不完整或者疏漏，都会自动转化为完整清晰结构的 HTML代码。
doc = pq(etree.fromstring("<html></html>"))3.直接传 URL
# 这里就像直接请求了一个网页一样，类似用 urllib 来直接请求这个链接，得到 HTML 代码。
doc = pq('http://www.baidu.com',encoding='utf-8')4.传文件路径
# 可以直接传某个路径的文件名。
doc = pq(filename='hello.html')二. Css
1.添加、切换、移除 Css
# css
p = pq('<p id="hello" class="one"></p>')('p')
p.attr("class")
# 添加
p.addClass("toto")
print(p)
# 切换
p.toggleClass("titi toto")
print(p)
# 移除
p.removeClass("titi")
print(p)输出如下
<p id="hello" class="one toto"/>
<p id="hello" class="one titi"/>
<p id="hello" class="one"/>2.操作 Css 样式
#Or the css style:
p.css("font-size", "15px")
print(p)
p.attr("style")
p.css({"font-size": "17px"})
print(p)输出如下
<p id="hello" class="one" style="font-size: 15px"/>
<p id="hello" class="one" style="font-size: 17px"/>3.以更加 Pythonic 的方式完成同样的功能
#更加 pythonic 的方法 ,Css属性的获取与操作
p.css.font_size = "16px"
print(p.attr.style)
p.css['font-size'] = "15px"
print(p.attr.style)
p.css(font_size="17px")
print(p.attr.style)
p.css = {"font-size": "18px"}
print(p.attr.style)输出如下
font-size: 16px
font-size: 15px
font-size: 17px
font-size: 18px三.使用伪类
在 html 中，有 type 属性，支持语法 <input type="value"> 。这里的匹配的 Css 元素，就相对于 html 中的属性值。
如下是使用使用伪类匹配 Css 元素列表
| 名称 | 含义 |
|---|---|
| :button | 匹配所有按钮输入元素和按钮元素 |
| :checkbox | 匹配所有复选框输入元素 |
| :checked | 匹配选中的元素，下标从0开始 |
| :child | 右边是左边的直接子元素 |
| :contains() | 包含元素 |
| :descendant | 右边是左边的子元素、孙元素或者更远的后继元素 |
| :disabled | 匹配所有被禁用的元素 |
| :empty | 匹配所有不包括任何其他元素的元素 |
| :enabled | 匹配所有启用的元素 |
| :eq() | 使用下标匹配 |
| :even | 从下标0开始，匹配所有偶数元素 |
| :file | 匹配所有文件类型的输入元素 |
| :first | 匹配第一个被选择的元素 |
| :gt() | 匹配下标大于指定值的元素 |
| :has() | 匹配包含至少一个匹配元素的元素 |
| :header | 匹配所有标题元素 |
| :hidden | 匹配所有隐藏的输入元素 |
| :image | 匹配所有图像输入元素 |
| :input | 匹配所有输入元素 |
| :last | 匹配最后一个选择的元素 |
| :lt() | 匹配所有下标小于指定值的元素 |
| :odd | 匹配奇元素，下标从0开始 |
| :parent | 匹配所有包含其他元素的元素 |
| :password | 匹配所有密码输入元素 |
| :pseudo | 翻译一个伪元素（默认不支持伪元素，但可以被子类覆盖） |
| :radio | 匹配单选按钮输入元素 |
| :reset | 匹配所有重置输入元素 |
| :selected | 匹配所有被选中的元素 |
| :submit | 匹配所有提交输入元素 |
| :text | 匹配所有文本输入元素 |
下面是一些使用案例
html='''
<html>
<head>
<title>一个 HTML 页面</title>
</head>
<body>
<p>body 元素的内容会显示在浏览器中。</p>
<p>title 元素的内容会显示在浏览器的标题栏中。</p>
<p>有序列表：</p>
<ol>
<li>play</li>
<li>as</li>
<li>a pythoner</li>
</ol>
<input type="reset"/>
<div><input type="file"/></div>
<select><option selected="selected"/></select>
<div><input type="button"/>按钮</div>
<div><input type =“checkbox”/>复选框</ div>
<div> <input checked =“checked”/>checked </ div>
<input type="button" value="点我" onclick="msg()">
<input type="hidden" name="country" value="Norway">
<br><input type="radio" name="gender" value="male"> Male</br>
<div><input type="password" name="pwd">密码框</div>
<p>say</p>
<ul>
<li>do</li>
<li>something</li>
<li>easier</li>
</ul>
<div><input type="checkbox"/>单选框</div>
</body>
</html>
'''
pseudo_doc=pq(html)
print(pseudo_doc(':reset '))
print(pseudo_doc(':file '))
print(pseudo_doc(':selected '))
print(pseudo_doc(':checked '))
print(pseudo_doc(':button'))
print(pseudo_doc(':password'))
print(pseudo_doc(':hidden '))
print(pseudo_doc(':radio '))
输出如下
<input type="reset"/>
<input type="file"/>
<option selected="selected"/>
<input checked="“checked”/"/>checked div>
<input type="button"/>按钮<input type="button" value="点我" onclick="msg()"/>
<input type="password" name="pwd"/>密码框
<input type="hidden" name="country" value="Norway"/>
<input type="radio" name="gender" value="male"/> Male
四.操作
１．向标签的尾部追加元素
下面是个实例
d = pq('<p class="hello" id="hello">you know Python rocks</p>')
d('p').append(' check out <a href="http://reddit.com/r/python"><span>reddit</span></a>')
print(d)输出
<p class="hello" id="hello">you know Python rocks check out <a href="http://reddit.com/r/python"><span>reddit</span></a></p>２．向标签的开头追加元素
下面是个实例
d = pq('<p class="hello" id="hello">you know Python rocks</p>')
p = d('p')
#print(p)
p.prepend('check out <a href="http://reddit.com/r/python">reddit</a>')
print(p.html())输出
check out <a href="http://reddit.com/r/python">reddit</a>you know Python rocks3．在其他元素之前或者之后追加元素
下面是个实例
d = pq('<p class="hello" id="hello">you know Python rocks</p>')
p = d('p')
d = pq('<html><body><div id="test"><a href="http://python.org">python</a> !</div></body></html>')
p.prependTo(d('#test'))
print(d('#test').html())输出
<p class="hello" id="hello">you know Python rocks</p><a href="http://python.org">python</a> !4．在其他元素之后插入元素
下面是个实例
from pyquery import PyQuery as pq
from lxml import etree
import urllib
html='''
<!DOCTYPE html>
<html>
<body>
<div id="test"><a href="http://python.org">python</a> !</div>
</body>
</html>
'''
d=pq(html)
p = pq('<p class="hello" id="hello">you know Python rocks</p>')
p.insertAfter(d('#test'))
print(d('body').html())
输出
<div id="test"><a href="http://python.org">python</a> !</div>
<p class="hello" id="hello">you know Python rocks</p>5.在其他元素之前插入元素
下面是个实例
from pyquery import PyQuery as pq
from lxml import etree
import urllib
html='''
<!DOCTYPE html>
<html>
<body>
<div id="test"><a href="http://python.org">python</a> !</div>
</body>
</html>
'''
d=pq(html)
p = pq('<p class="hello" id="hello">you know Python rocks</p>')
p.insertBefore(d('#test'))
print(d('body').html())输出
<p class="hello" id="hello">you know Python rocks</p><div id="test"><a href="http://python.org">python</a> !</div>
6.对每个元素执行操作
下面是个实例
p.each(lambda i, e: pq(e).addClass('hello2'))
print(p)输出
<p class="hello hello2" id="hello">you know Python rocks</p>7.移除一个元素
下面是个实例
d = pq('<html><body><p id="id">Yeah!</p><p>python rocks !</p></div></html>')
print(d.remove('p#id'))输出
<html><body><p>python rocks !</p></body></html>8.移除选中元素的内容
下面是个实例
d = pq('<html><body><p id="id">Yeah!</p><p>python rocks !</p></div></html>')
print(d('p').empty())
输出
<p id="id"/><p/>9.获得修改后的html内容
下面是个实例
print(d)输出
<html><body><p id="id"/><p/></body></html>10.生成html片段
下面是个实例
from pyquery import PyQuery as pq
print(pq('<div>Yeah !</div>').addClass('myclass') + pq('<b>cool</b>'))输出
<div class="myclass">Yeah !</div><b>cool</b>11.移除所有命名空间
下面是个实例
from pyquery import PyQuery as pq
print(pq('<html><body><p id="id">Yeah!</p><p>python rocks !</p></div></html>'))
print(d.remove_namespaces())输出
<html><body><p id="id">Yeah!</p><p>python rocks !</p></body></html>
<html><body><p id="id"/><p/></body></html>五.遍历
1.使用字符串选择器过滤选择列表
下面是个实例
from pyquery import PyQuery as pq
from lxml import etree
d = pq('<p id="hello" class="hello"><a/></p><p id="test"><a/></p>')
#选择 id=hello 的信息
p=d('p').filter('.hello')
print(p)输出
<p id="hello" class="hello"><a/></p>2.使用eq选择器选中单个元素
下面是个实例
d = pq('<p id="hello" class="hello1"><a/></p><p id="test" class="test1"><a/></p>')
p=d('p').eq(0)
print(p)输出
<p id="hello" class="hello1"><a/></p>3.找出嵌套元素
下面是个实例
d = pq('''<html><body><p>这是 w3school 链接地址：<a href="http://www.w3school.com.cn">W3School</a></p></body></html>''')
print(d('p').find('a'))输出
<a href="http://www.w3school.com.cn">W3School</a>4.支持使用 end 从一级遍历中跳出
下面是个实例
d = pq('''<html><body><p>这是 w3school 链接地址：<a href="http://www.w3school.com.cn">W3School</a></p></body></html>''')
print(d('p').find('a').end())
print(d('p').eq(0).end())
print(d('p').filter(lambda i: i == 1).end())输出
<p>这是 w3school 链接地址：<a href="http://www.w3school.com.cn">W3School</a></p>
<p>这是 w3school 链接地址：<a href="http://www.w3school.com.cn">W3School</a></p>
<p>这是 w3school 链接地址：<a href="http://www.w3school.com.cn">W3School</a></p>5.注意标点的转义
下面是个实例
d = pq(
'''<html><body>
<p id="hello.you">text</p>
<p>这是 w3school 链接地址：<a href="http://www.w3school.com.cn">W3School</a></p></body></html>''')
print(d('#hello\.you'))输出
<p id="hello.you">text</p>六.Scraping
1.Pyquery 可以从一个 url 加载为 html 文档
下面是个实例
url="https://www.baidu.com/"
p=pq(url)
print(p)输出限于篇幅，请自行查看
2.如果安装了 requests 就使用 requests。可以使用大部分requests 的参数。
下面是个实例
d=pq(url=url, headers={'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'})
print(d)输出限于篇幅，请自行查看
else
pq （your_url ， { 'q' ： 'foo' }， method = 'post' ， verify = True ）
[<html>]七.小贴士 Tips
1.可以使链接转化为绝对链，在屏幕抓取时还会比较有用
>>> d = pq(url=your_url, parser='html')
>>> d('form').attr('action')
'/form-submit'
>>> d.make_links_absolute()
[<html>]2.使用不同的解析器
默认的情况下，pyquery 使用 lxml 中的 lxml 解析器且如果它不能工作的话，可以尝试lxml.html 中的 html 解析器。xml 解析器在解析 xhtml 页面时可能出现一些问题，因为解析器不会抛出错误，而是给出一个无用的树。
可以显式地声明使用哪一个解析器：
>>> pq('<html><body><p>toto</p></body></html>', parser='xml')
[<html>]
>>> pq('<html><body><p>toto</p></body></html>', parser='html')
[<html>]
>>> pq('<html><body><p>toto</p></body></html>', parser='html_fragments')
[<p>]其中，html 和 html_fragments 解析器都在 lxml.html 当中。
八.常用的 Css 选择器
这一 Part 是实战过程中使用最频繁的内容，浏览器自带 Css 选择器，可以直接通过右键 Copy 获取所需的 Css 样式。可以直接查看 CSS 选择器参考手册 。
在 CSS 中，选择器是一种模式，用于选择需要添加样式的元素。”CSS” 列指示该属性是在哪个 CSS 版本中定义的。（CSS1、CSS2 还是 CSS3。）
下面是 Css 选择器
| 选择器 | 例子 | 例子描述 | CSS |
|---|---|---|---|
| .class | .intro | 选择 class="intro" 的所有元素。 | 1 |
| id | firstname | 选择 id="firstname" 的所有元素。 | 1 |
| * | * | 选择所有元素。 | 2 |
| element | p | 选择所有 <p> 元素。 | 1 |
| element,element | div,p | 选择所有 <div> 元素和所有 元素。 | 1 |
| element element | div p | 选择 <div> 元素内部的所有 <p> 元素。 | 1 |
| element>element | div>p | 选择父元素为 <div> 元素的所有 <p> 元素。 | 2 |
| element+element | div+p | 选择紧接在 <div> 元素之后的所有 <p> 元素。 | 2 |
| [attribute] | [target] | 选择带有 target 属性所有元素。 | 2 |
| [attribute=value] | [target=_blank] | 选择 target="_blank" 的所有元素。 | 2 |
| [attribute~=value] | [title~=flower] | 选择 title 属性包含单词 "flower" 的所有元素。 | 2 |
| [attribute=value] | [lang=en] | 选择 lang 属性值以 "en" 开头的所有元素。 | 2 |
| :link | a:link | 选择所有未被访问的链接。 | 1 |
| :visited | a:visited | 选择所有已被访问的链接。 | 1 |
| :active | a:active | 选择活动链接。 | 1 |
| :hover | a:hover | 选择鼠标指针位于其上的链接。 | 1 |
| :focus | input:focus | 选择获得焦点的 input 元素。 | 2 |
| :first-letter | p:first-letter | 选择每个 <p> 元素的首字母。 | 1 |
| :first-line | p:first-line | 选择每个 <p> 元素的首行。 | 1 |
| :first-child | p:first-child | 选择属于父元素的第一个子元素的每个 <p> 元素。 | 2 |
| :before | p:before | 在每个 <p> 元素的内容之前插入内容。 | 2 |
| :after | p:after | 在每个 <p> 元素的内容之后插入内容。 | 2 |
| :lang(language) | p:lang(it) | 选择带有以 "it"开头的 lang 属性值的每个 <p> 元素。 | 2 |
| element1~element2 | p~ul | 选择前面有 <p>元素的每个 <ul> 元素。 | 3 |
| [attribute^=value] | a[src^=”https”] | 选择其 src 属性值以 "https" 开头的每个 <a> 元素。 | 3 |
| [attribute$=value] | a[src$=”.pdf”] | 选择其 src 属性以 ".pdf" 结尾的所有 <a> 元素。 | 3 |
| [attribute*=value] | a[src*=”abc”] | 选择其 src 属性中包含 "abc" 子串的每个 <a> 元素。 | 3 |
| :first-of-type | p:first-of-type | 选择属于其父元素的首个 <p> 元素的每个 <p> 元素。 | 3 |
| :last-of-type | p:last-of-type | 选择属于其父元素的最后 <p> 元素的每个 <p> 元素。 | 3 |
| :only-of-type | p:only-of-type | 选择属于其父元素唯一的 <p> 元素的每个 <p> 元素。 | 3 |
| :only-child | p:only-child | 选择属于其父元素的唯一子元素的每个 <p> 元素。 | 3 |
| :nth-child(n) | p:nth-child(2) | 选择属于其父元素的第二个子元素的每个 <p> 元素。 | 3 |
| :nth-last-child(n) | p:nth-last-child(2) | 同上，从最后一个子元素开始计数。 | 3 |
| :nth-of-type(n) | p:nth-of-type(2) | 选择属于其父元素第二个 <p> 元素的每个 <p> 元素。 | 3 |
| :nth-last-of-type(n) | p:nth-last-of-type(2) | 同上，但是从最后一个子元素开始计数。 | 3 |
| :last-child | p:last-child | 选择属于其父元素最后一个子元素每个 <p> 元素。 | 3 |
| :root | :root | 选择文档的根元素。 | 3 |
| :empty | p:empty | 选择没有子元素的每个 <p> 元素（包括文本节点）。 | 3 |
| :target | news:target | 选择当前活动的 #news 元素。 | 3 |
| :enabled | input:enabled | 选择每个启用的 <input> 元素。 | 3 |
| :disabled | input:disabled | 选择每个禁用的 <input> 元素 | 3 |
| :checked | input:checked | 选择每个被选中的 <input> 元素。 | 3 |
| :not(selector) | :not(p) | 选择非 <p> 元素的每个元素。 | 3 |
| ::selection | ::selection | 选择被用户选取的元素部分。 | 3 |
引入一个用于测试的 doc
from pyquery import PyQuery as pq
from lxml import etree
doc = pq('https://www.python.org/',encoding='utf-8')
print(doc)
输出由于篇幅限制，可以自行运行查看
下面是一些实例
#打印 id为 downloads 的标签
print(doc('#downloads'))
print(type(doc('#downloads')))
#打印 class 为 python 的标签
print(doc(".python"))
#打印标签名为 body 的标签
print(doc('body'))
#多种css选择器使用
print(doc('html #downloads'))输出由于篇幅限制，可以自行运行查看
更多有关选择器的知识可以查看：
CSS3 选择器——基本选择器 、CSS3 选择器——属性选择器 、CSS3 选择器——伪类选择器 。
192
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
