Day33.爬虫基础之PyQuery

爬虫基础之PyQuery

---

---

前言

本文主要展示了PyQuery的基本使用和常见操作。

---

一. PyQuery 基本操作

1.1 初始化

1.1.1 字符串初始化

from pyquery import PyQuery as pq

html = '''
<div>
    <ul>
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''

doc = pq(html)
print(doc('li'))  # 类似于 CSS 选择器

1.1.2 URL 初始化

doc = pq(url="http://www.baidu.com")
print(doc('head'))

1.1.3 文件初始化

doc = pq(filename='demo.html')
print(doc('li'))

1.2 基本 CSS 选择器

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''

doc = pq(html)
print(doc('#container .list li'))
# '#' 表示id , '.' 表示下级 li 列表不用 '.'

1.3 查找元素

1.3.1 子元素

items = doc('.list')
print(type(items))
print(items)
lis = items.find('li')
print(type(lis))
print(lis)

# 单纯的子节点
lis = items.children()
print(type(lis))
print(lis)

# 子节点中带有某种元素
lis = items.children('.active')
print(type(lis))
print(lis)

# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #

# 父节点
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
doc = pq(html)
items = doc('.list')
container = items.parent()
print(type(container))
print(container)
# 发现这里要取父节点的话，只会出现一级父节点，而且本级的结点本身也会展现出来。

# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #

parents = items.parents()  # 父节点
print(type(parents))
print(parents)
# 与上面不同的是，这里使用的是parents()，然后展现的是上面两级的父节点。

parent = items.parents('.wrap')
print(parent)

# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #
# 兄弟元素
li = doc('.list .item-0.active')  # 后面的 ‘.’与前面没有空格，表示同级别结点
print(li.siblings())

print(li.siblings('.active'))  # 直接去特定的子节点

1.4 遍历

1.4.1 单个元素

li = doc('.item-0.active')
print(li)

# +++++++++++++++++++++++++++++++++++++++++++ # 
lis = doc('li').items()
print(type(lis))
for li in lis: print(li)

二. PyQuery 高级操作

2.1 获取信息

2.1.1 获取属性

from pyquery import PyQuery as pq

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''

doc = pq(html)
a = doc('.item-0.active a')
print(a)
print(a.attr('href'))
print(a.attr.href)

2.1.2 获取文本

print(a)
print(a.text)

2.1.3 获取 HTML

li = doc('item-0.active')
print(li)
print(li.html())

2.2 DOM操作

DOM表示分割文档中的信息的能力，包括添加、编辑，它还包含使用这些对象所必需的方法和属性。

2.2.1 addClass, removeClass

li = doc('.item-0.active')
print(li)
li.removeClass('active')
print(li)
li.addClass('active')
print(li)

2.2.2 attr, css

li = doc('.item-0.active')
print(li)
li.attr('name', 'link')
print(li)
li.css('font-size', '14px')
print(li)

2.2.3 remove

html = '''
<div class="wrap">
    Hello, World
    <p>This is a paragraph.</p>
 </div>
'''

doc = pq(html)
wrap = doc('.wrap')
print(wrap.text())
wrap.find('p').remove()
print(wrap.text())

其他DOM方法 http://pyquery.readthedocs.io/en/latest/api.html

2.3 伪类选择器

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''

doc = pq(html)
li = doc('li:first-child')  # 第一个节点
print(li)
li = doc('li:last-child')  # 最后一个节点
print(li)
li = doc('li:nth-child(2)')  # 第二个节点
print(li)
li = doc('li:gt(2)')  # 第二个及其之后的式子（从0开始算）
print(li)
li = doc('li:nth-child(2n)')  # 第偶数个节点
print(li)
li = doc('li:contains(second)')  # contains 内的 第二个。
print(li)

更多CSS选择器可以查看 http://www.w3school.com.cn/css/index.asp
官方文档 http://pyquery.readthedocs.io/

---

总结

今天主要是学习了PyQuery库的基础知识和简单的使用。其实这个库跟BeautifulSoup里面的CSS选择器很相似。对该库有兴趣的小伙伴可以观看官方文档进一步学习。

溜了遛了，脑壳疼。Loading（33/100）。。