python爬虫05-xpath解析(一)

keep_di

已于 2024-01-13 13:10:04 修改

阅读量548

点赞数 11

分类专栏： python-爬虫文章标签： python 爬虫开发语言

于 2024-01-13 12:18:48 首次发布

本文链接：https://blog.csdn.net/u013805267/article/details/135560394

版权

python-爬虫专栏收录该内容

7 篇文章 0 订阅

订阅专栏

本文介绍了XPath语言的安装、使用方法，包括如何导入lxml库，将文本转换为树并进行解析，详细阐述了XPath的语法规则，以及通过实例演示如何在HTML文档中查找和提取信息。

摘要由CSDN通过智能技术生成

总结：

1、xpath简介和安装

2、使用xpath : 导包--->转换--->解析

3、语法规则

4、示例

总结：

xpath是简单粗暴的

就几个符号（..表示向上，/表示向下，@是属性，[ ]是条件）。

1、xpath简介和安装

XPath 是一门在 XML 文档中查找信息的语言；
俗讲：在树中通过节点等条件快速查找元素！
安装lxml ： pip install lxml

2、使用xpath : 导包--->转换--->解析

导包： from lxml import etree
文本转为树：tree=etree.HTML(服务器响应text) / tree = etree.parse（本地html）
解析： tree.xpath(表达式)

3、语法规则

表达式	作用	示例说明
/	绝对定位：从根节点开始查询	/html/body/div[1]
//	相对定位：任意节点查询匹配	/html//div[1]
./	选取当前节点
../	选取当前节点的父节点。
@	选取属性	//标签名[@元素名称='元素值'] //input[@id='kw']
[ ]	条件定位	//div[ @id = 'id_name' ] //div[ 1 ] 索引查询
/text（）	获取标签下直系的标签文本	//span/text()
last()	定位到最后一个	//标签名[last()] //span/ul//li[last()]
逻辑表达 and	标签名[@元素名称='元素值' and @元素名称='元素值'] //input[@id='kw' and @class='s_ipt']
逻辑表达 or	// 标签名[@元素名称='元素值' or @元素名称='元素值'] //input[@id='kw' or @class='s_t']
逻辑表达非	//标签名称[@元素名称 != '元素值'] //input[@class!='1111']
逻辑表达 not()	//标签名[not(.='元素值') . 代表的是 text() //year[not(.='aaa')] //li[not(@id="model")]
模糊匹配	//标签名[contains(text(), "内容"] ★ //div[contains(text(), "aaa")]
精确匹配	//标签名[(text()='内容')] //div[(text()='呵呵')]

4、示例：

解析a.html文本：

<!DOCTYPE html>
<head>
    <meta charset="UTF-8"/>    <title>标题</title>
</head>
<body>
<div>
    <ul>
        <li id="name" class="bookName"><span>java</span></li>
        <li id="model"><span>python</span></li>
        <li class="price"><span>js</span></li>
        <li class="author"><span>c</span></li>
    </ul>
</div>
</body>
</html>

需求：获取span标签中的文本：

# author: keep_di  
# 01-xpathtest.py
from lxml import etree
tree = etree.parse('a.html') #读取的本地文件
#需求：获取li中的文本 
lst1 = tree.xpath('//span/text()') # xpath返回是列表
print(lst1)  # ['java', 'python', 'js', 'c']