parsel的使用(保姆级别)

如果将xpath和css穿插起来，那是不是可以更灵活呢？
这里我们介绍另一个解析库叫做parsel。

1.介绍

parsel这个库可以解析HTML和XML，并支持使用Xpath和CSS选择器对内容进行提取和修改，同时还融合了正则表达式的提取功能。parsel灵活且强大，同时也是python最流行的爬虫框架Scrapy的底层支持

安装

pip3 install parsel

2.初始化

html = '''
<div>
    <ul>
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''

接着，一般我们会用parsel库里的Selector这个类声明一个Selector对象，写法如下：

from parsel import Selector

selector = Selector(text=html)

这样我们就创建一个selector对象,向其传入text参数，内容就是上面的html字符串。
有了这个selector对象之后，我们可以使用css和xpath方法分别传入css选择器和xpath进行内容提取，例如这里我们要提取class包含item-0的节点，写法如下：

items = selector.css('.item-0')
print(len(items), type(items), items)
items2 = selector.xpath('//li[contains(@class, "item-0")]')
print(len(items2), type(items), items2)

结果如下：

3 <class 'parsel.selector.SelectorList'> [<Selector xpath="descendant-or-self::*[@class and contains(concat(' ', normalize-space(@class), ' '), ' item-0 ')]" data='<li class="item-0">first item</li>'>, <Selector xpath="descendant-or-self::*[@class and contains(concat(' ', normalize-space(@class), ' '), ' item-0 ')]" data='<li class="item-0 active"><a href="li...'>, <Selector xpath="descendant-or-self::*[@class and contains(concat(' ', normalize-space(@class), ' '), ' item-0 ')]" data='<li class="item-0"><a href="link5.htm...'>]
3 <class 'parsel.selector.SelectorList'> [<Selector xpath='//li[contains(@class, "item-0")]' data='<li class="item-0">first item</li>'>, <Selector xpath='//li[contains(@class, "item-0")]' data='<li class="item-0 active"><a href="li...'>, <Selector xpath='//li[contains(@class, "item-0")]' data='<li class="item-0"><a href="link5.htm...'>]

可以看到两个结果都是selectorList对象，是个可迭代对象。用len方法获取结果的长度都是3.另外返回的节点也是一样的，都是第1、3、5个li节点每个节点都包含html代码。

此时注意看，我们用css选择器提取的节点，输出就是xpath属性而不是css属性，是因为css的背后，我们传入css选择器首先是被转化成xpath，真正用于节点提取的是xpath。其中css选择器转化为xpath的过程是由底层csselect这个库实现的。

3.提取文本

获取提取到li节点的内容：

from parsel import Selector

selector = Selector(text=html)
items = selector.css('.item-0')
for item in items:
    text = item.xpath('.//text()').get()
    print(text)

这里我们遍历了items变量，并赋值为item，于是这里的item变成了一个selector对象，此时我们调用其css或xpath方法进行内容提取。这里我们用.//text()这个xpath方法提取了当前节点文本内容，此时不调用其他方法则返回的是selector构成的可迭代对象selectorlist。selectorlist中有一个get方法，可以提取。
运行结果如下：

first item
third item
fifth item

我们再看一个实例：

from parsel import Selector

selector = Selector(text=html)
result = selector.xpath('//li[contains(@class,"item-0")]//text()').get()
print(result)

输出结果如下：

first item

准确来说因该是返回3个li对象，而这里get方法仅仅返回了第一个li对象文本，因为get方法只会提取第一个selector对象的结果

如果想获取所有的因该用getall()

from parsel import Selector

selector = Selector(text=html)
result = selector.xpath('//li[contains(@class,"item-0")]//text()').getall()
print(result)

结果如下：

['first item', 'third item', 'fifth item']

此时每一项和selector对象是一一对应的

以上是用xpath获取文本，如果用css获取文本则因该这样写：

from parsel import Selector

selector = Selector(text=html)
result = selector.css(".item-0 *::text").getall()
print(result)

这里用*来提取所有子节点，提取文本需要加上::text最后结果是一样的，

['first item', 'third item', 'fifth item']

4.属性提取

我们要提取第三个li节点内部的a节点的href属性：

from parsel import Selector

selector = Selector(text=html)
result = selector.css(".item-0.active a::attr(href)").get()  # css方法
print(result)
result = selector.xpath("//li[contains(@class,'item-0') and contains(@class,'active')]/a/@href").get()
print(result)

运行结果如下：

link3.html
link3.html

5.正则提取

除了css和xpath方法，Selector对象还提供了正则表达式提取方法，我们用一个实例：

from parsel import Selector

selector = Selector(text=html)
result = selector.css(".item-0").re("link.*")  # css方法
print(result)

这里先用css方法提取所有class包含item-0的节点，然后使用re方法传入link.*，用来匹配含link的所有结果。
运行结果如下：

['link3.html"><span class="bold">third item</span></a></li>', 'link5.html">fifth item</a></li>']

返回的是一个列表

当然，如果在调用css方法时，已经提取进一步的结果了，例如提取了节点的文本值，那么re方法就只会针对节点文本值进行提取：

from parsel import Selector

selector = Selector(text=html)
result = selector.css(".item-0 *::text").re('.*item')
print(result)

运行结果如下：

['first item', 'third item', 'fifth item']

也可以利用re_first方法来提取第一个符合规则的结果：

from parsel import Selector

selector = Selector(text=html)
result = selector.css(".item-0").re_first('<span class="bold">(.*?)</span>')
print(result)

结果如下：

third item