113.xpath的使用

最新推荐文章于 2024-07-06 12:03:33 发布

影子传说--通关版本

最新推荐文章于 2024-07-06 12:03:33 发布

阅读量40

点赞数

文章标签： python html 开发语言前端

本文链接：https://blog.csdn.net/qq_38251900/article/details/130434354

版权

一.解析页面模块比较:

1.正则表达式是进行内容匹配，将符合要求的内容全部获取；

2.xpath()能将字符串转化为标签，它会检测字符串内容是否为标签，但是不能检测出内容是否为真的标签；

3.Beautifulsoup是Python的一个第三方库，它的作用和 xpath 作用一样，都是用来解析html数据的相比之下;xpath的速度会快一点，因为xpath底层是用c来实现的

二. 语法不同

正则表达式使用元字符，将所有获得内容与匹配条件进行匹配，

而xpath和bs4将获取的解析后的源码进行按条件筛选，筛选出想要的标签即根据标签属性来找到指定的标签，之后对标签进行对应内容获取;

xpath：全称XML PATH Language, 一种小型的查询语言;

支持的解析：
1.xml格式
2.html格式
3.通过元素，和属性进行导航

三.xpath常用的规则

规则.png

四.常用的运算符

常用的运算符.png

五.例子

import lxml.etree as etree

# 1). 将html内容转化成xpath可以解析/匹配的格式;
html = """
<!DOCTYPE html>
<html>
<head lang="en">
    <title>xpath测试</title>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>
</head>
<body>
<div id="content">
    <ul id="ul">
        <li>NO.1</li>
        <li>NO.2</li>
        <li>NO.3</li>
    </ul>
    <ul id="ul2">
        <li>one</li>
        <li>two</li>
    </ul>
</div>
<div id="url">
    <a href="http:www.58.com" title="58">58</a>
    <a href="http:www.csdn.net" title="CSDN">CSDN</a>
</div>
</body>
</html>

"""
# print(type(html))
selector = etree.HTML(html)

# 2).
# //: 对全文进行扫描
# //div
# //div[@id="content"]
str = selector.xpath('//div[@id="content"]/ul[@id="ul"]/li/text()')
# 全文里搜索div标签-->筛选id = content的所有div标签--->再筛选出ul标签里id='ul'的标签---->li标签--->提取文字
# 输出的str为列表
print(str)
print(type(str))  # str为列表类型

['NO.1', 'NO.2', 'NO.3']
<class 'list'>

str = selector.xpath('//div[@id="url"]/a/@href')
print(str)

['http:www.58.com', 'http:www.csdn.net']

# 获取符合条件的标签内容;
str = selector.xpath('//div[@id="content"]')[0].extract()
print(str)

一、选取节点

表达式描述实例
nodename 选取nodename节点的所有子节点 xpath(‘//div’) 选取了div节点的所有子节点
/ |从根节点选取 xpath(‘/div’) 从根节点上选取div节点
// 选取所有的当前节点，不考虑他们的位置 xpath(‘//div’) 选取所有的div节点
. 选取当前节点 | xpath(‘./div’) | 选取当前节点下的div节点
.. 选取当前节点的父节点 | xpath(‘..’) | 回到上一个节点
@ 选取属性 xpath(’//@calss’) 选取所有的class属性

二、谓语

谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点

实例：

表达式结果
xpath(‘/body/div[1]’) 选取body下的第一个div节点
xpath(‘/body/div[last()]’) | 选取body下最后一个div节点
xpath(‘/body/div[last()-1]’) 选取body下倒数第二个div节点
xpath(‘/body/div[positon()<3]’) 选取body下前两个div节点
xpath(‘/body/div[@class]’) 选取body下带有class属性的div节点
xpath(‘/body/div[@class=”main”]’) 选取body下class属性为main的div节点
xpath(‘/body/div[price>35.00]’) 选取body下price元素值大于35的div节点

** 三、通配符**

Xpath通过通配符来选取未知的XML元素

表达式结果
xpath(’/div/’) 选取div下的所有子节点
xpath(‘/div[@]’) 选取所有带属性的div节点

四、取多个路径

使用“|”运算符可以选取多个路径

| 表达式 | 结果 |
xpath(‘//div|//table’) 选取所有的div和table节点

五、Xpath轴

轴可以定义相对于当前节点的节点集

轴名称表达式 | 描述
ancestor xpath(‘./ancestor::’) 选取当前节点的所有先辈节点(父、祖父)
ancestor-or-self xpath(‘./ancestor-or-self::’) 选取当前节点的所有先辈节点以及节点本身 |
attribute xpath(‘./attribute::’) 选取当前节点的所有属性
child |xpath(‘./child::’) | 返回当前节点的所有子节点
descendant xpath(‘./descendant::’) 返回当前节点的所有后代节点(子节点、孙节点)
following xpath(‘./following::’) 选取文档中当前节点结束标签后的所有节点
following-sibing xpath(‘./following-sibing::’) | 选取当前节点之后的兄弟节点
parent xpath(‘./parent::’) 选取当前节点的父节点
preceding xpath(‘./preceding::*’) 选取文档中当前节点开始标签前的所有节点

preceding-sibling xpath(‘./preceding-sibling::’) 选取当前节点之前的兄弟节点
self xpath(‘./self::’) 选取当前节点

**六、功能函数 **

使用功能函数能够更好的进行模糊搜索

函数用法解释
starts-with xpath(‘//div[starts-with(@id,”ma”)]‘) | 选取id值以ma开头的div节点
contains xpath(‘//div[contains(@id,”ma”)]‘) 选取id值包含ma的div节点
and xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘) 选取id值包含ma和in的div节点
text() xpath(‘//div[contains(text(),”ma”)]‘) 选取节点文本包含ma的div节点
text()---直接取文本内容

影子传说--通关版本

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
113.xpath的使用

一.解析页面模块比较:1.正则表达式是进行内容匹配，将符合要求的内容全部获取；2.xpath()能将字符串转化为标签，它会检测字符串内容是否为标签，但是不能检测出内容是否为真的标签；3.Beautifulsoup是Python的一个第三方库，它的作用和 xpath 作用一样，都是用来解析html数据的相比之下;xpath的速度会快一点，因为xpath底层是用c来实现的二. 语法不同正则表...
复制链接

扫一扫