lxml解析库和Xpath语法

注意：Xpath路径可以借助Xpath helper插件校验是否正确，打开与关闭的快捷键均为Ctrl+shift+x

 

 

 

示例

import requests
from lxml import etree

headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                  '(KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'
}

response = requests.get('https://www.baidu.com/',headers=headers)
# print(type(response))             #<class 'requests.models.Response'>
print(response.text)
# print(type(response.text))        <class 'str'>
html = etree.HTML(response.text)    #调用HTML类将response.text的str内容(网站源代码HTML)解析并修正，
                                    #构造一个Xpath解析对象
# print(type(html))                 <class 'lxml.etree._Element'>
result = etree.tostring(html)
# print(type(result))               #<class 'bytes'>
print(result.decode('utf-8'))       #调用decode()将Byte类型以utf-8解码，输出解析并修正后的HTML代码

 

Xpath语法

属性多值匹配

如下示例所示，HTML文本中li节点的class属性有两个值，即li和li-first，若只写其中一个属性值就会出现匹配失败的情况，得到一个空列表，解决的办法就是contain()方法的使用，第一个参数传入属性名称，第二个参数传入属性值。

示例

from lxml import etree

text='''
<li class="li li-first"><a href="link.html">first item</a></li>
'''

html = etree.HTML(text)
result1 = html.xpath('//li[@class="li"]/a/text()')
result2 = html.xpath('//li[@class="li-first"]/a/text()')
result3 = html.xpath('//li[@class="li li-first"]/a/text()')
result4 = html.xpath('//li[contains(@class,"li")]/a/text()')
result5 = html.xpath('//li[contains(@class,"li-first")]/a/text()')
print("result1=",result1)
print("result2=",result2)
print("result3=",result3)
print("result4=",result4)
print("result5=",result5)

运行结果

result1= []
result2= []
result3= ['first item']
result4= ['first item']
result5= ['first item']

多属性匹配

有时候我们可能还会遇到一种情况，那就是根据多个属性确定一个节点，这时就需要同时匹配多个属性。此时可以使用运算符and来连接。

示例

from lxml import etree

text='''
<li class="li li-first" name="item"><a href="link.html">first item</a></li>
'''

html = etree.HTML(text)
result = html.xpath('//li[contains(@class,"li-first")and@name="item"]/a/text()')
print("result=",result)

运行结果

result= ['first item']

按序选择

有时候，我们在选择的时候某些属性可能同时匹配了多个节点，但是只想要其中某个节点，如第二个节点或者最后一个节点，这时该怎么办呢？

这时候可以利用中括号传入索引的方法获取特定次序的节点。

示例

from lxml import etree
text="""
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
</div>
"""
html = etree.HTML(text)
#选取第1个li节点
result1 = html.xpath('//li[1]/a/text()')
print('result1=',result1)
#选取最后1个li节点
result2 = html.xpath('//li[last()]/a/text()')
print('result2=',result2)
#选取第1个和第2个li节点
result3 = html.xpath('//li[position()<3]/a/text()')
print('result3=',result3)
#选取倒数第3个li节点
result4 = html.xpath('//li[last()-2]/a/text()')
print('result4=',result4)

运行结果

result1= ['first item']
result2= ['fifth item']
result3= ['first item', 'second item']
result4= ['third item']

 

 

 

                                                                                    表1 运算符及其介绍

        

 

我