我要爬爬虫(7)-xpath解析库

最新推荐文章于 2024-05-14 22:18:18 发布
最新推荐文章于 2024-05-14 22:18:18 发布
阅读量263 收藏 1
点赞数
分类专栏： spider 文章标签： spider xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18831501/article/details/80997710
版权

常用符号

/ 直接子节点
// 所有子孙节点
. 当前节点
.. 当前节点的父节点
@ 属性值
contains 属性包括

lxml库的使用

对于下面这段html文本source.html

<div>
    <ul>
        <li class ="item-0"><a href="link1.html">first time</a> </li>
        <li class ="item-1"><a href="link2.html">second time</a> </li>
        <li class ="item-inactive"><a href="link3.html">third time</a> </li>
        <li class ="item-1"><a href="link4.html">fouth time</a> </li>
        <li class ="item-0"><a href="link5.html">fifth time</a>
    </ul>
</div>
直接解析html文本
from lxml import etree
#HTML方法传入html文本构造xpath解析对象，并可自动修复缺省格式
html=etree.HTML('XXXXXXXXXX')
#tostring转换成bytes
result=etree.tostring(html)
#decode转换成string
print(result.decode('gbk')) 
#解码之后可以实现换行输出,utf-8或gbk都行

结果如下

<html><body><div>
    <ul>
        <li class="item-0"><a href="link1.html">first time</a> </li>
        <li class="item-1"><a href="link2.html">second time</a> </li>
        <li class="item-inactive"><a href="link3.html">third time</a> </li>
        <li class="item-1"><a href="link4.html">fouth time</a> </li>
        <li class="item-0"><a href="link5.html">fifth time</a>
    </li></ul>
</div>
</body></html>

其实就是个补全格式的操作。

也可对html文件进行解析。
html=etree.parse('source.html',parser=etree.HTMLParser())
result=etree.tostring(html)
print(result.decode('gbk'))
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html><body><div>&#13;
    <ul>&#13;
        <li class="item-0"><a href="link1.html">first time</a> </li>&#13;
        <li class="item-1"><a href="link2.html">second time</a> </li>&#13;
        <li class="item-inactive"><a href="link3.html">third time</a> </li>&#13;
        <li class="item-1"><a href="link4.html">fouth time</a> </li>&#13;
        <li class="item-0"><a href="link5.html">fifth time</a> </li>&#13;
    </ul>&#13;
</div></body></html>

多了个DOCTYPE的声明，其他一样。

取节点

html.xpath('//*')取得所有子孙节点
列表形式返回所有节点

[<Element html at 0x1626ad130c8>,
 <Element body at 0x1626ac5d648>,
 <Element div at 0x1626ad1c108>,
 <Element ul at 0x1626ad1cfc8>,
 <Element li at 0x1626ad1c788>,
 <Element a at 0x1626ad1c8c8>,
 <Element li at 0x1626ad1c648>,
 <Element a at 0x1626ad1c848>,
 <Element li at 0x1626ad1c388>,
 <Element a at 0x1626ad1c3c8>,
 <Element li at 0x1626ad1c208>,
 <Element a at 0x1626ad1c188>,
 <Element li at 0x1626ad1c6c8>,
 <Element a at 0x1626ad1c688>]

//li取得所有li节点
//li/a取得所有li节点下的直接a节点
//a[@href="link4.html"]/../@class取得所有满足href=“link4.html”的a节点的父节点的class属性
li[@class="item-0"]/text()这里取不到任何值
结果[' ', '\n ']
因为li节点的直接子节点没有文本，只有a节点和空格，以及构造xpath对象时添加的换行符。
对于<li class="li li-first"><a href="link.html"><a/><li/>
这里li节点的class属性有两个值li li-first，所以用[@class='li']是取不到该节点的，应该使用[contains(@class,'li')]，这样属性值里包含即可匹配到。
//li[contains(@class,"li") and @name="item"]/a/text()这里使用and并列查找条件。
//li[1]下标1即取第一个节点，并非第二个。
//li[last()]最后一个节点
//li[position()<3]下标小于3，即第一，第二个节点。
//li[last()-2]倒数第三个节点

节点轴

ancestor 祖先节点
attribute 属性值
child 子节点
decedent 子孙节点
following 后面的节点
following-sibling 后面的同级节点
//li[1]/following::*2第一个li节点的后面第二个节点

凤凰传奇的粉丝
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Python爬虫开发基础⑧】XPath库及其基本用法
z135733的博客
06-27 2315
XPath（XML Path Language）是一种用于在HTML和XML文档中定位和选择节点的语言。它提供了一种简洁而强大的方式来对HTML和XML文档进行遍历和操作。路径表达式：XPath使用路径表达式从根节点开始，沿着节点之间的层级关系依次定位目标节点。常见的路径表达式有以下几种形式：表达式意义表示从根节点开始选择。//表示在整个文档中选择节点。。(点)表示当前节点。。。(两个点)表示当前节点的父节点。nodeName表示选择指定名称的节点。谓语。
网络请求库requests及数据解析xpath
MCTSOG的博客
05-26 1472
B站千锋教育爬虫视频配套资料的整理学习。
python——requests+xpath实现爬虫
lhl0306的博客
05-14 958
本文章主要介绍使用python，通过requests+Xpath 爬虫的技术学习和实例。
requests之数据解析Xpath介绍
weixin_53155105的博客
04-18 1447
聚焦爬虫: 爬取页面中指定的页面信息 - 指定url - 发起请求 - 获取响应数据 - 数据解析 - 持久化存储 数据解析原理概述： - 解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储 - 1.进行指定标签的定位 - 2.标签或者标签对应的属性中存储的数据值进行提取(解析) 数据解析分类： - 正则 - bs4 - xpath 下面两...
requestes爬虫中xpath的使用方法
luluzsa的博客
01-27 2004
源码如下： import requests from lxml import etree # 获取响应 url='https://www.zhipin.com/c100010000/?query=python&page=2&ka=page-2' headers={ # 'cookie':'acw_tc=0bdd34f616432872078207682e019f0d9aba3c40cef3a9ae8631ef43f89386; sid=sem_pz_bdpc_dasou_title
xpath与requests的使用
panda的博客
08-13 796
文章目录一.requests的使用二.xpath解析库的安装与使用三.使用requests爬取网站四.总结 一.requests的使用 在上篇文章中给大家演示了一下使用urllib模块中的request爬取豆瓣电影, 相信大家练习过后都会觉得很简单, 今天带大家开始使用requests模块了, 关于requests的介绍与安装在上篇文章中已经有过描述, 这里就不再叙述了. requests的...
爬虫笔记-解析库-Xpath
最新发布
06-03
基于崔庆才《python3网络爬虫开发实战》写的学习笔记和心得，其中包括内容和方法最总，包括代码，其中有些方法由于版本更迭做了修改。使用jupyter写的。
Python爬虫Chrome网页解析工具-XPath Helper插件
05-26
XPath与这些库的集成非常紧密，例如在`lxml`中，你可以这样使用XPath： ```python from lxml import etree # 获取网页源码 response = requests.get('http://example.com') html = response.text # 创建解析器 ...
爬虫解析库：XPath
01-20
另外，它还提供了超过 100 个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有想要定位的节点都可以用 XPath 来选择。     官方文档：https://www.w3.org/TR/xpath/ 2. X
爬虫技术-Xpath解析数据.pptx
01-01
安装Xpath解析库，一般在Python中会使用lxml库，通过pip install lxml命令即可完成安装。导入库后，可以使用其提供的接口进行Xpath操作。 Xpath提供了丰富的路径表达式和通配符，例如： - `/div/span` 选取div下的...
24期爬虫-03-xpath数据解析1-陈麟.py
10-31
24期爬虫-03-xpath数据解析1-陈麟.py
Python爬虫之XPath解析库
weixin_43705135的博客
11-04 713
XPath，全称XML Path Language，即XML路径语言，拥有简单明了的路径选择表达式，提供有100个内建函数，实现对字符串、数值、时间的匹配以及节点、序列的处理。应用于在XML文档中查找信息的语言，适用于HTML文档的搜索。
python中xpath解析库的讲解及案例分析
qq_63713328的博客
08-09 1727
python中xpath解析库的安装与使用,以及google中xpath的xpathhelper的安装与下载,还有案例分析哦
超级简单的Python爬虫入门教程(非常详细)，通俗易懂，看一遍就会了
python03011的博客
05-15 1万+
超级简单的Python爬虫入门教程(非常详细)，通俗易懂，看一遍就会了
【Python爬虫教程】基础篇-09 解析库Xpath详解
仲君Johnny的博客
02-06 1372
摘要：XPath详解，涉及获取所有节点，子节点，父节点，属性匹配，文本获取，属性获取，按序选择等。
爬虫基础教学及实战（request 和 xpath）
weixin_73161549的博客
11-01 1764
爬虫基础适合小白，送给玻璃球新生
Xpath教程
m0_56863547的博客
09-22 782
Xpath教程 文章目录Xpath教程前言二、使用步骤1.下载Xpath库2.导入Xpath库3.Xpath节点4.Xpath语法参考资料 前言 XPath 是一门在 XML 文档中查找信息的语言。 # 一、Xpath是什么？ XPath 使用路径表达式在 XML 文档中进行导航 XPath 包含一个标准函数库 XPath 是 XSLT 中的主要元素 XPath 是一个 W3C 标准 二、使用步骤 1.下载Xpath库 代码如下（示例）： pip install lxml 2.导入Xpath库 代
Python爬虫从入门到精通——解析库XPath的使用
热门推荐
冯·诺依曼
05-28 2万+
分类目录：《Python爬虫从入门到精通》总目录 在《爬取猫眼电影排行Top100》中我们用requests和正则表达式实现了一个最基本的爬虫。但提取页面信息时使用的是正则表达式比较烦琐，而且万一有地方写错了，可能导致匹配失败，所以使用正则表达式提取页面信息多多少少还是有些不方便。而对于网页的节点来说，它可以定义id、class或其他属性。而且节点之间还有层次关系，在网页中可以通过XPath或CS...
xpath库工作流程
weixin_35757191的博客
12-25 114
XPath 是一种用于在 XML 文档中选取节点的语言。它可以使用各种方法来选取 XML 文档中的节点，包括类似于 CSS 的选择器，以及通过节点的属性、位置和内容来选择节点。 XPath 库的工作流程是： 加载 XML 文档。首先，你需要使用一个工具(如 Python 的 lxml 库)来加载 XML 文档，以便可以在其中运行 XPath 表达式。 定义 XPath 表达式。然后，你需要定义...
python-selenium -- xpath定位方法详解
06-06
XPath是一种XML文档的定位方法，也可以用于HTML文档的定位，Selenium中也可以使用XPath来定位网页元素。下面是使用XPath定位元素的详细步骤： 1. 打开浏览器并访问网页： ```python from selenium import webdriver driver = webdriver.Chrome() driver.get("http://www.example.com") ``` 2. 使用XPath定位元素： ```python # 通过元素id定位 element = driver.find_element_by_xpath('//*[@id="element_id"]') # 通过元素name定位 element = driver.find_element_by_xpath('//*[@name="element_name"]') # 通过元素class定位 element = driver.find_element_by_xpath('//*[@class="element_class"]') # 通过元素标签名定位 element = driver.find_element_by_xpath('//tag_name') # 通过元素属性定位 element = driver.find_element_by_xpath('//*[@attribute_name="attribute_value"]') # 通过元素文本内容定位 element = driver.find_element_by_xpath('//*[text()="text_content"]') # 通过元素部分文本内容定位 element = driver.find_element_by_xpath('//*[contains(text(), "text_content")]') ``` 3. 对元素进行操作： ```python # 输入文本 element.send_keys("text_input") # 点击元素 element.click() # 获取元素文本 print(element.text) # 获取元素属性值 print(element.get_attribute("attribute_name")) ``` 注意事项： - XPath定位需要用到浏览器的开发者工具，在开发者工具中可以查看元素的XPath路径。 - XPath路径中的引号需要用不同类型的引号包裹，例如在单引号内使用双引号包裹。 - 如果XPath路径中包含斜杠（/），则需要使用双斜杠（//）或者使用单引号包裹整个XPath路径。 - 在XPath路径中没有找到元素时，会抛出NoSuchElementException异常。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值