Python爬虫-解析库之pyquery

pyquery

初始化

像Beautiful Soup一样,初始化pyquery的时候,也需要传入HTML文本来初始化一个PyQuery对象。它的初始化方式有多种,比如直接传入字符串,传入URL,传入文件名等待。官方文档:http://pyquery.readthedocs.io

字符串初始化

html = '''
    <div>
    <ul>
    <li class="item-0">first item</li>
    <li class="item-1"><a href="link2.html">second item</a></li>
    <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
    <li class="item-1 active"><a href="link4.html">fourth item</a></li>
    <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
    </div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
print(doc("li"))

运行结果如下:

<li class="item-0">first item</li>在这里插入代码片
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>

首先引入PyQuery对象,取别名pq。然后声明一个长HTML字符串,并将其当作参数传递给PyQuery类,这个就完成了初始化,将初始化的对象传入CSS选择器。

URL初始化

初始化的参数不仅可以以字符串的形式传递,还可以传入网页的URL,此时只需要指定参数为url既可。

from pyquery import PyQuery as pq
doc = pq(url="https://cuiqingcai.com")
 #等同于
 #import requests  
 #doc = pq(request.get("https://cuiqingcai.com").text)
print(doc('title'))

运行结果如下:

<title>静觅丨崔庆才的个人博客</title>&#13;

说明:PyQuery对象会先请求这个URL,然后用得到的HTML内容完成初始化。

文件的初始化

除了传递URL,还可以传递本地的文件名,此时将参数指定为filename即可。

from pyquery import PyQuery as pq
doc = pq(filename='demo.html')
print(doc('li'))

说明:这里需要有一个本地HTML文件demo.html,其内容是待解析的HTML字符串。这样它会首先读取本地的文件内容,然后用文件内容以字符串的形式传递给PyQuery类来初始化。

基本CSS选择器

html = '''
<div id='container'>
<ul class='list'>
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
#先选取id为container的节点,再选取其内部的class为list的节点内部的所有li节点
#注意:container后面有一个空格
print(doc('#container .list li'))
print(type(doc('#container .list li')))

运行结果为:

<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>

<class 'pyquery.pyquery.PyQuery'>

查找节点

子节点

查找子节点时,需要用到find()方法,此时传入的参数是CSS选择器。以上面HTML文档为例:

from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
print(type(items))
print(items)
#用find()方法查找items中的li节点
lis = items.find('li')
print(type(lis))
print(lis)

运行结果:

<class 'pyquery.pyquery.PyQuery'>
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>

<class 'pyquery.pyquery.PyQuery'>
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>

其实find()的查找范围是节点的所有子孙节点,而如果只想查找子节点,可以使用children()方法:

lis = items.children()
print(type(lis))
print(lis)

运行结果:

<class 'pyquery.pyquery.PyQuery'>
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>

如果要筛选所有子节点中符合条件的节点,比如筛选出子节点中class为active的节点,可以向children()方法传入CSS选择器.active。

lis = items.children('.active')
print(lis)

运行结果:

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>

父节点

用parent()方法来获取某个节点的父节点,实例:

html = '''
<div class="wrap">
<div id='container'>
<ul class='list'>
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
container = items.parent()
print(type(container))
print(container)

运行结果:

<class 'pyquery.pyquery.PyQuery'>
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>

说明:首先用.list选取class为list的节点,然后调用parent()方法得到其父节点,此父节点是直接父节点,不会再去查找祖先节点。
如果想获取祖先节点,使用parents()方法。

#传入css选择器,筛选出class为wrap的节点
parent = items.parents('.wrap')
print(parent)

兄弟节点

使用siblings()方法。

from pyquery import PyQuery as pq
doc = pq(html)
#上述文档中很显然,class为item-0和active的节点的兄弟节点有4个
#注意:list后面有个空格
li = doc('.list .item-0.active')
print(li.siblings())

#同样,用CSS选择器来筛选出class为active的兄弟节点
print(li.siblings('.active'))

运行结果为:

<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0">first item</li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>

<li class="item-1 active"><a href="link4.html">fourth item</a></li>

遍历

从上面程序运行结果可以观察到,pyquery的选择结果可能是多个节点,也可能是单个节点,类型都是PyQuery类型,并没有返回像Beautiful Soup那样的列表。
对于单个节点来说,可以直接打印输出,也可以直接转成字符串。

from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
print(str(li))

对于多个节点,就需要遍历来获取了。

from pyquery import PyQuery as pq
doc = pq(html)
lis = doc('li').items()
print(type(lis))
for li in lis:
    print(li, type(li))

运行结果为:

<class 'generator'>
<li class="item-0">first item</li>
 <class 'pyquery.pyquery.PyQuery'>
<li class="item-1"><a href="link2.html">second item</a></li>
 <class 'pyquery.pyquery.PyQuery'>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
 <class 'pyquery.pyquery.PyQuery'>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
 <class 'pyquery.pyquery.PyQuery'>
<li class="item-0"><a href="link5.html">fifth item</a></li>
 <class 'pyquery.pyquery.PyQuery'>

说明:可见,调用items()方法后,会得到一个生成器,遍历一下,就可以逐个得到li节点对象了,类型仍然是PyQuery类型,故还是可以调用前面说的各种方法进行选择。

获取信息

提取到节点后,最终目的当然是提取节点所包含的信息了。比较重要的信息有两类:一类是提取属性,二是提取文本。

获取属性

提取到某个PyQuery类型的节点后,可以调用attr()方法来获取属性:

html = '''
<div class="wrap">
<div id='container'>
<ul class='list'>
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
a= doc('.item-0.active a')
print(a, type(a))
print(a.attr('href'))
#也可以通过调用attr属性来获取属性
print(a.attr.href)

运行结果为:

<a href="link3.html"><span class="bold">third item</span></a> <class 'pyquery.pyquery.PyQuery'>
link3.html
link3.html

如果选中的是多个元素,然后调用attr()方法,会发现,返回结果只有一个,只会得到第一个节点的属性。要获取多个节点的属性,就需要上面说的遍历了:

from pyquery import PyQuery as pq
doc = pq(html)
a= doc('a')
for item in a.items():
    print(item.attr.href)

获取文本

获取节点之后的另一个主要操作就是获取其内部的文本,此时可以调用text()方法来实现:

from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
#忽略节点内部的HTML文本,只返回纯文字内容
print(li.text())
#获取节点内部的HTML文本
print(li.html())

结果为:

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

third item
<a href="link3.html"><span class="bold">third item</span></a>

如果选择的结果是多个节点,html()方法返回的是第一个li节点的内部HTML文本,而text()则返回了所有的li节点内部的纯文本,中间用一个空格分隔开,即返回结果是一个字符串。

from pyquery import PyQuery as pq
doc = pq(html)
li = doc('li')
print(li.html())
print(li.text())
print(type(li.text()))

运行结果为:

first item
first item second item third item fourth item fifth item
<class 'str'>

说明:如果得到的结果是多个节点,并且想要获取每个节点的内部HTML文本,则需要遍历每个节点。而text()方法不需要遍历就可以获取,它将所有节点选取文本之后合并成一个字符串。

节点操作

pyquery提供了一系列方法来对节点进行修改,比如为某一个节点添加一个class,移除某个节点等,这些操作有时候会为提取信息带来极大的便利。由于节点操作的方法太多,举几个典型的。除下举例之外,还有很多节点操作的方法,比如append()、empty()和prepend()等方法,它们和jQuery的用法一致,详细用法可以参见官方文档:http://pyquery.readthedocs.io/en/latest/api.html

addClass和removeClass

html = '''
<div class="wrap">
<div id='container'>
<ul class='list'>
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
#移除li节点的active这个class
li.removeClass('active')
print(li)
#添加li节点的active这个class
li.addClass('active')
print(li)

运行结果为:

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

<li class="item-0"><a href="link3.html"><span class="bold">third item</span></a></li>

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

attrr、text和html

当然除了操作class这个属性外,也可以用attr()方法对属性进行操作。此外,还可以用text()和html()方法来改变节点内部的内容。

html = '''
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
'''

from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
li.attr('name', 'link')
print(li)
li.text('changed item')
print(li)
li.html('<span>changed item</span>')
print(li)

运行结果:

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-0 active" name="link"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-0 active" name="link">changed item</li>
<li class="item-0 active" name="link"><span>changed item</span></li>

可见:调用attr()方法后,li节点多了一个原本不存在的属性name,其值为link。接着调用text()方法,传入文本后,li节点内部的文本全被改为传入的字符串文本。调用html()方法传入HTML文本后,li节点内部变为传入的HTML文本了。
所以说,attr()方法只传入第一个参数的属性名,则是获取这个属性值;如果传入第二个参数,可以用来修改属性值。text()方法和html()方法如果不传参数,则是获取节点内纯文本和HTML文本;如果传入参数,则进行赋值。

remove()

顾名思义,remove()方法就是移除,它有时会为信息的提取带来非常大的便利。

html = '''
<div class="wrap">
    hellp, world
    <p>This is a paragraph.</p>
</div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
wrap = doc('.wrap')
print(wrap.text())

此时的运行结果为:

hellp, world
This is a paragraph.

如果只想获取hello, world呢?可以使用remove()方法:

wrap.find('p').remove()
print(wrap.text())

此时就能得到想要的结果。

伪类选择器

CSS选择器之所以强大,还有一个重要的原因,是因为它支持多种多样的伪类选择器,比如选择第一个节点、最后一个节点、奇偶数节点、包含某一文本的节点等。示例如下:

html = '''
<div class="wrap">
<div id='container'>
<ul class='list'>
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
#选择第一个节点
li = doc('li:first-child')
print(li)
#最后一个节点
li = doc('li:last-child')
print(li)
#第二个节点
li = doc('li:nth-child(2)')
print(li)
#第三个之后的节点
li = doc('li:gt(2)')
print(li)
#奇偶数节点
li = doc('li:nth-child(2n)')
print(li)
#包含second的节点
li = doc('li:contains(second)')
print(li)

输出结果为:

<li class="item-0">first item</li>

<li class="item-0"><a href="link5.html">fifth item</a></li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>

<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>

<li class="item-1"><a href="link2.html">second item</a></li>

这里使用了CSS3的伪类选择器。关于CSS选择器的更多用法,可以参考http://www.w3school.com.cn/css/index.asp 。

没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试