python爬虫之xpath的基本使用

一、简介

XPath 是一门在 XML 文档中查找信息的语言。

XPath 可用来在 XML 文档中对元素和属性进行遍历。

XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上

二、使用

1、导入
from lxml import  etree

2、基本使用
wb_data = """
        <div>
            <ul>
                 <li class="item-0"><a href="link1.html">first item</a></li>
                 <li class="item-1"><a href="link2.html">second item</a></li>
                 <li class="item-inactive"><a href="link3.html">third item</a></li>
                 <li class="item-1"><a href="link4.html">fourth item</a></li>
                 <li class="item-0"><a href="link5.html">fifth item</a>
             </ul>
         </div>
      """
#3、获取某个标签的内容(基本使用)，注意，获取a标签的所有内容，a后面就不用再加正斜杠，否则报错。
html = etree.HTML(wb_data)
print(html)
result = etree.tostring(html)
print(result.decode("utf-8"))

#写法一
date2 = html.xpath('/html/body/ul/li/a')
for i in date2:
    if hasattr(i,'text'):
        print(i.text)
    else:
        print(i)

#写法二（直接在需要查找内容的标签后面加一个/text()就行）
data3 = html.xpath('/html/body/div/ul/li/a/text()')
print(html)
for i in data3:
    print(i)

#4、打开读取html文件
data5 = html.xpath('//*')#打印是一个列表，需要遍历
print(data5)
for i in data5:
    print(i.text)

#5、打印指定路径下a标签的属性（可以通过遍历拿到某个属性的值，查找标签的内容）
html = etree.parse('test.html')
html_data = etree.tostring(html,pretty_print=True)
res = html_data.decode('utf-8')
print(res)