Python爬虫数据提取方式——使用PyQuery查找元素

html = """
    <div id='content'>
        <ul class='list'>
            <li class='one'>One</li>
            <li class='two'>Two</li>
            <li class='three'>Three</li>
            <li class='four'>Four</li>
            <div id='inner'>
                <a href='http://www.baidu.com'>百度一下</a>
                <p>第一段</p>
                <p>第2段</p>
                <p>第3段</p>
                <p>
                    第4段
                    <span>法大师傅大师傅</span>
                </p>
                <p>第5段</p>
                <p>第6段</p>
            </div>
        </ul>
    </div>
"""

pyquery：仿照jquery语法，封装的一个包，和bs4有点类似。

首先：利用PyQuery类，对Html这个文档进行序列化，结果是一个文档对象

doc_obj = PyQuery(html)
print(doc_obj)

接下来：开始查找元素的方法

从doc_obj这个对象中根据类名匹配元素

   ul = doc_obj('.list') 

   # ul是一个对象
   print(ul) 
   print(type(ul)

#从ul中查找a
print(ul('a'))

当前元素对象.find(): 在当前对象中查找后代元素

当前元素对象.chrildren(): 在当前对象中查找直接子元素

print(ul.find('a'))

父元素查找

parent(): 直接父元素

parents(): 所有的父元素

a = ul('a')
print(a.parent('#inner'))

兄弟元素的查找

li = doc_obj('.one')
print(li.siblings())
print(li.siblings('.two'))

获取标签的属性或文本（遍历元素）

ul = doc_obj('.list')

# generator object
 res = ul('li').items()
 for li in res:
     print(li)
     # 获取标签对象的文本内容
     print(li.text())
     # 获取标签属性
     print(li.attr('class'))

获取标签下文本内容

inner_div = doc_obj('#inner')
p = inner_div('p')
print(p.text())