python爬虫学习记录（6）解析库的使用——pyquery

一、简介

CSS选择器，jQuery

二、初始化

1、字符串初始化

from pyquery import PyQuery as pq

html = """
<div>
    <ul>
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
"""
doc = pq(html)
print(doc('li'))

先引入pyQuery，再取别名为pq，声明html字符春，当做参数传给PyQuery，完成初始化，将初始化对象传给css选择器，获取li节点。

<li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>

2、URL初始化

PyQuery指定参数是url即可。PyQuery会首先请求这个url，用得到的html内容完成初始化，相当于用网页源代码以字符串形式传递给PyQuery类来初始化。与用request.get('http://www.xxxxx.com').text传入PyQuery对象一样。

from pyquery import PyQuery as pq
doc = pq(url='http://cuiqingcai.com')
print(doc('title'))

<title> 静觅丨崔庆才的个人博客 </title>

3、文件初始化

可以传递本地文件，将参数指定为filename

from pyquery import PyQuery as pq
doc = pq(filename='demo.html')
print(doc('li'))

二、基本CSS选择器

初始化pyquery对象，传入css选择器#container .list li。可以获取所有符合条件的节点。

from pyquery import PyQuery as pq
html  =  ''' 
<div id="container"> 
    <ul class="list"> 
         <li class="item-0">第一项</li> 
         <li class="item-1"><a href ="link2.html">第二项</a></li> 
         <li class="item-0 active"><a href="link3.html"><span class="bold">第三项</ span></a></li> 
         <li class="item-1 active"><a href="link4.html">第四项</a></li> 
         <li class="item-0" ><a href="link5.html">第五项</a></li> 
     </ul> 
</div> 
'''
doc = pq(html)
print(doc('#container .list li'))

<li class="item-0">第一项</li>
         <li class="item-1"><a href="link2.html">第二项</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">第三项 span&gt;</span></a></li>
         <li class="item-1 active"><a href="link4.html">第四项</a></li>
         <li class="item-0"><a href="link5.html">第五项</a></li>

三、查找节点

使用find（）方法，传入参数是css选择器。find查找范围是所有子孙节点。

from pyquery import PyQuery as pq
html  =  ''' 
<div id="container"> 
    <ul class="list"> 
         <li class="item-0">第一项</li> 
         <li class="item-1"><a href ="link2.html">第二项</a></li> 
         <li class="item-0 active"><a href="link3.html"><span class="bold">第三项</ span></a></li> 
         <li class="item-1 active"><a href="link4.html"&g