爬虫之数据解析====xpath

一.LXML模块介绍

1.解析HTML/XML文件

lxml是一个功能强大的python库，专用于处理HTML和XML文件。它通过解析这些文件，允许开发者轻松提取和操作其中的数据，极大地简化了网页数据处理工作。

2.安装与使用

安装模块LXML模块只需简单的pip命令，使用它首先需要导入etree模块。之后，通过etree.HTML方法将HTML字符串转化为树状结构，进而使用xpath方法根据规则提取数据

pip install lxml==4.9.2

3.数据提取功能

lxml的核心功能之一是数据提取，它允许用户通过自定义xpath规则来精确的从HTML或XML文档中抽取所需的信息。这一特性使得lxml成为处理和分析网页数据的理想工具

from lxml import etree

from lxml.html import etree

tree=etree.HTML(str1)

print(tree,type(tree))   #<class 'lxml.etree.Element'>
print(etree.tostring(tree))   #Element 转字符串类型

二.常用规则

from lxml import etree
tree=etree.HTML(str1)
tree.xpath(规则)

• /   从当前节点选取子节点

• //   从当前节点选取子孙节点

• .   选取当前节点

• ..   选取当前节点的父节点

• @   选取属性

• last()   选取最后一个

• \*   通配符 匹配任意元素节点

• @*   匹配任意属性节点

• |   选取若干节点（多个规则去匹配元素）

#xpath方法 返回的是列表 列表的数据 默认是Element
print('/html/body/div/ul/li'))   #获取这所有的li

print('body/div/ul/li'))   #获取这所有的li

print('//li'))   #获取这所有的li

print(tree.xpath('//li[@class-="item-0"]/a/text()'))    #[]帮我们写条件 text()获取内容