使用 lxml 中的 xpath 高效提取文本与标签属性值

最新推荐文章于 2024-05-12 13:42:29 发布
最新推荐文章于 2024-05-12 13:42:29 发布
阅读量9.8k 收藏 27
点赞数 6
分类专栏： python 文章标签： python xpath

以下代码在 python 3.5 + jupyter notebook 中运行测试无误！

# 我们爬取网页的目的，无非是先定位到DOM树的节点，然后取其文本或属性值

myPage = '''<html>
        <title>TITLE</title>
        <body>
        <h1>我的博客</h1>
        <div>我的文章</div>
        <div id="photos">
         <img src="pic1.jpeg"/><span id="pic1">PIC1 is beautiful!</span>
         <img src="pic2.jpeg"/><span id="pic2">PIC2 is beautiful!</span>
         <p><a href="http://www.example.com/more_pic.html">更多美图</a></p>
         <a href="http://www.baidu.com">去往百度</a>
         <a href="http://www.163.com">去往网易</a>
         <a href="http://www.sohu.com">去往搜狐</a>
        </div>
        <p class="myclassname">Hello,\nworld!<br/>-- by Adam</p>
        <div class="foot">放在尾部的其他一些说明</div>
        </body>
        </html>'''

html = etree.fromstring(myPage)

# 一、定位
divs1 = html.xpath('//div')
divs2 = html.xpath('//div[@id]')
divs3 = html.xpath('//div[@class="foot"]')
divs4 = html.xpath('//div[@*]')
divs5 = html.xpath('//div[1]')
divs6 = html.xpath('//div[last()-1]')
divs7 = html.xpath('//div[position()<3]')
divs8 = html.xpath('//div|//h1')
divs9 = html.xpath('//div[not(@*)]')

# 二、取文本 text() 区别 html.xpath('string()')
text1 = html.xpath('//div/text()')
text2 = html.xpath('//div[@id]/text()')
text3 = html.xpath('//div[@class="foot"]/text()')
text4 = html.xpath('//div[@*]/text()')
text5 = html.xpath('//div[1]/text()')
text6 = html.xpath('//div[last()-1]/text()')
text7 = html.xpath('//div[position()<3]/text()')
text8 = html.xpath('//div/text()|//h1/text()')


# 三、取属性 @
value1 = html.xpath('//a/@href')
value2 = html.xpath('//img/@src')
value3 = html.xpath('//div[2]/span/@id')


# 四、定位（进阶）
# 1.文档(DOM)元素(Element)的find，findall方法
divs = html.xpath('//div[position()<3]')
for div in divs:
    ass = div.findall('a')  # 这里只能找到:div->a, 找不到:div->p->a
    for a in ass:
        if a is not None:
            #print(dir(a))
            print(a.text, a.attrib.get('href')) #文档(DOM)元素(Element)的属性：text, attrib

# 2.与1等价
a_href = html.xpath('//div[position()<3]/a/@href')
print(a_href)

# 3.注意与1、2的区别
a_href = html.xpath('//div[position()<3]//a/@href')
print(a_href)
qq_19306333
关注
  • 6
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
XPath表达式（一）--------使用 lxml 中的 xpath 高效提取文本与标签属性值
lizz2276的博客
07-30 687
# 我们爬取网页的目的，无非是先定位到DOM树的节点，然后取其文本或属性值 myPage = '''<html> <title>TITLE</title> <body> <h1>我的博客</h1> <div>我的文章</div> <div id="photos"> <img src="pic1.j...
XPath的22个示例
10-21
其它网站转的,方便大家学习　　　　　　　　　　
网页数据提取——XPath（py爬虫）
最新发布
qq_59453650的博客
05-12 955
XPath全称（XML path Language），即XML路径语言，用来在XML文档中查找信息。
xpath基本案例（Python）
qq_53272273的博客
09-24 5312
**#相关介绍：xpath是在XML文档中搜索内容的一门语言；html是xml的一个子集。 一、首先安装lxml模块，这里以pycharm开发环境为例，在Terminal命令行输入pip install lxml 出现如下页面即是安装成功。 1.再介入案例之前，首先看一个小例子： （1）先从lxml模块导入etree包； （2）xml可以看作是网页源代码（相关知识html标签语言） （3）第20行拿到页面源代码（调用XML方法）； （4）调用xpath方法。 输出结果如下： 二、关于xpath基本
XPath应用实例
QTsong的博客
12-18 181
XPath应用实例
XPath应用案例
weixin_41998371的博客
11-09 152
爬取CSDN学院一级标题 打开网站 https://edu.csdn.net/ 在一级标题【人工智能】单击右键>检查 在弹出的开发者模式中标灰的就是检查的元素，往上看<a herf标签 >地址就是我们点击人工智能跳转的页面，如果不确认是不是我们可以点击下看看跳转页面是否正确 <li data-v-6ef8a82e="" data-v-23556950=""> <a href="https://edu.csdn.net/course?payType=1&amp
【数据采集】Xpath实例学习
平淡中造就不平凡
04-04 1871
Xpath XPath，全称 XML Path Language，即 XML 路径语言，它是一门在XML文档中查找信息的语言。XPath 最初设计是用来搜寻XML文档的，但是它同样适用于 HTML 文档的搜索。 1.XPath概览 XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式，另外它还提供了超过 100 个内建函数用于字符串、数值、时间的匹配以及节点、序列的处理等等，几乎所有我们想要定位的节点都可以用XPath来选择。 XPath 于 1999 年 11 月 16 日 成为 W3
爬虫_数据提取值xpath和lxml模块学习
09-28
5. **处理结果**：遍历获取的节点列表，提取所需数据，如文本内容、属性值等。 以下是一个简单的例子，展示如何使用lxml和XPath从网页中提取标题： ```python import requests from lxml import etree # 请求网页...
parsel：Parsel使您可以使用XPath或CSS选择器从XMLHTML文档中提取数据
02-04
在Parsel中，你可以使用XPath表达式来精确地定位你需要的数据，无论是某个特定的标签、属性值，还是嵌套结构中的内容。例如，`//title` 会选取所有的`<title>`元素，而 `@href` 则能帮助你获取所有链接的`href`属性...
Python lxml解析HTML并用xpath获取元素的方法
09-19
XPath允许我们根据标签名、属性值、位置等多种条件进行选择，极大地提高了处理HTML文档的效率。在实际开发中，结合lxml库和XPath，我们可以方便地解析和操作HTML文档，实现自动化抓取、数据提取等任务。
用xpath获取指定标签下的所有text的实例
09-19
示例代码中，`value = value_ls[0].xpath('string(.)')`这行已经足够获取`td`元素内的所有文本，因为lxml的Element对象可以直接返回字符串值。如果在其他情况下，例如使用了Scrapy或其他框架，可能需要使用`.extract...
Python Xpath 的使用
01-20
文章目录Xpath 的使用lxml 库Xpath 简介Xpath 语法实例应用Xpath 节点所有节点子节点父节点属性单值匹配多值匹配多属性匹配获取属性文本获取Xpath 轴小结 Xpath 的使用 正则表达式 笔记整理 Python requests 模块 ...
Python爬虫之利用xpath案例（极简版）
weixin_43636211的博客
04-28 545
爬取豆瓣TOP250榜第一页的电影信息（xpath极简版） from lxml import etree import requests url='https://movie.douban.com/top250' headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like...
python（xpath爬虫）实例
m0_62410163的博客
05-21 1540
本文主要介绍xpath爬虫相关原理，及xpath爬虫实例。
〖Python网络爬虫实战⑬〗- XPATH实战案例
爱吃饼干的小白鼠的博客
04-12 1030
我们通过学习了简单的Xpath操作，以及在另外一篇xpath的实战案例下，本文，继续分享一个关于xpath的实战案例。xpath最大的难点就是如何写下path后面的语法，我们要找到对应的节点，就可以了。
一个Python爬虫案例，带你掌握xpath数据解析方法！
m0_59162248的博客
05-16 353
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。xpath解析：最常用且最便捷高效的一种解析方式。
四个Python爬虫案例，带你掌握xpath数据解析方法！
公众号：Python研究者
04-29 2043
大家好，我是辰哥文章目录xpath基本概念xpath解析原理环境安装如何实例化一个etree对象：xpath(‘xpath表达式’)xpath爬取58二手房实例爬取网址完整代码效果图xpath图片解析下载实例爬取网址完整代码效果图xpath爬取全国城市名称实例爬取网址完整代码效果图xpath爬取简历模板实例爬取网址完整代码效果图xpath基本概念xpath解析：最常用且最...
xpath技术解析xml以及案例模拟用户登录效果
weixin_30889885的博客
05-30 87
问题：当使用dom4j查询比较深的层次结构的节点（标签，属性，文本），比较麻烦！！！ xpath就在此情况下产生了——主要是用于快速获取所需的[节点对象]。 在dom4j中如何使用xPath技术 1）导入xPath支持jar包。 jaxen-1.1-beta-6.jar ...
lxml中.xpath用法
08-20
在lxml中，可以使用.xpath()方法来进行XPath表达式的解析和节点的定位。XPath是一种在XML文档中查找信息的语言，用于导航和定位文档中的节点。而lxml是一个用于解析XML文档和HTML文档的Python库。 要使用.xpath()方法，首先需要安装lxml库，可以通过命令行输入"pip install lxml"或者"easy_install lxml"来进行安装。安装完成后，可以在Python代码中导入lxml库并使用其xpath功能。 在使用.xpath()方法时，需要传入一个XPath表达式作为参数，该表达式用于定位文档中的节点。例如，可以使用以下代码定位所有的a标签节点： ``` from lxml import etree html = """ <html> <body> <a href="https://www.example.com">Example Link</a> </body> </html> """ # 创建一个XPath解析器 parser = etree.HTMLParser() # 解析HTML文档 tree = etree.parse(StringIO(html), parser) # 使用XPath表达式定位所有的a标签节点 nodes = tree.xpath("//a") # 打印节点文本内容和链接属性值 for node in nodes: print(node.text, node.get("href")) ``` 在上述代码中，首先创建了一个XPath解析器，并通过etree.parse()方法解析了一个HTML文档。然后，使用.xpath()方法传入XPath表达式"//a"来定位所有的a标签节点。最后，遍历这些节点，并打印出节点的文本内容和链接属性值。 需要注意的是，XPath表达式中的双斜杠"//"表示选取文档中的所有匹配节点，而a标签则通过标签名来进行匹配。 综上所述，lxml中的.xpath()方法可以用于解析XPath表达式和定位节点，以便于在XML或HTML文档中查找和提取信息。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [【Python实用】Python解析库lxml与xpath用法总结](https://blog.csdn.net/qq_41823684/article/details/115146573)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [Python中利用xpath解析HTML的方法](https://download.csdn.net/download/weixin_38531788/13762717)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值