python爬虫中xpath解析库的介绍和使用

XPath，全称 XML Path Language ，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言 。它最初是用来搜寻 XML 文档的，但是它同样适用于 HTML 文档的搜索 

xpath解析：最常用且最便捷高效的一种解析方式,用于信息抽取

步骤：

1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。

2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获

实例化etree对象：

1.导入库：from lxml import etree

2.将本地的html文档中的源码数据加载到etree对象中：etree.parse(filePath)  或者

   将互联网上获取的源码数据加载到该对象中：etree.HTML(''page_text")

xpath常用规则

表达式
nodename	选取此节点的所有子节点
/	/表示一个层级,从当前节点选取直接子节点,如 /html/body/div——寻找body标签里div的内容
//	//在标签之间表示多个层级,从当前节点选取子孙节点，如 //div
.	选取当前节点
@	选取属性

属性定位：//标签[@属性=' 属性值 ']，如//div[@class='eng']

索引定位：//div//div[@属性名称=' 属性值 ']/p[3]索引从1开始

取属性：/@属性值

取文本：转换为可读数据：1. /text()获取的是便签中直系的文本内容

                                           2. //text()获取标签中非直系的文本内容

import requests
from lxml import etree

if __name__=="__main__":
    url="https://sc.chinaz.com/jianli/"

    headers={
        "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
         AppleWebKit/537.36 (KHTML, like Gecko) 
         Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
    }

    text=requests.get(url=url,headers=headers).text

    tree=etree.HTML(text) #实例化etree对象

    list=tree.xpath('//div[@class="sc_warp bgwhite"]/ul/li') 
    #寻找网页源代码中div属性值为"sc_warp bgwhite"下ul下li标签

    web_list= []
    for li in list:
        html=li.xpath('./a/text()')[0]   # 索引0表示取得第一个元素值
        web_list.append(html)

 eg. html=li.xpath('./a/text()')[0]中索引0表示取得第一个元素值，与索引定位中定位标签位置不同