022.(RDC暑假学习期 7.13-7.14)认识XPath

参考书籍:《Python 3网络爬虫开发实战》


6月6号早晨突然收到考核结果通过的通知,惊喜成为RDC大数据组的一员。两个月的思考与突破,是疫情在家学习时光的难忘记忆之一。从进度条的%5到接近所有任务要求的%90,一路下来,也靠行动,靠意志。

考试月让工作室的日子暂告一段落。考试结束后的今天,将迎来RDC暑假学习期(小小996)。之前师兄师姐也提到过,大数据从业方向主要有算法和开发两者。暑假的学习主要在于前者,希望通过这1个月多的学习,自己既能更加确定自己的兴趣和方向,也能尽快提升团队合作能力,多多出力锻炼。

今天,简单回顾之前的爬虫基础后,便开始XPath1的学习。

介绍

之前自己实现的爬虫提取页面信息时,基本使用正则表达式,这还是比较
烦琐,而且万一有地方写错了,可能导致匹配失败,所以使用正则表达式提取页面信息、多多少少还有些不方便。

对于网页的节点(tag)来说,它可以定义 id,class 或其他属性,而且节点之间还有层次关系,在网页中可以通过 XPath,CSS选择器来定位一个或多个节点 那么,在页面解析时,利用 XPath,CSS选择器来提取某个节点,然后再调用相应方法获取它的正文内容或者属性,就可以提取我们想要的任意信息。

XPath 全称 XML Path Language ,即XML 路径语言,它是一门在 XML 文档中查找信息的语言。它最初是用来搜寻 XML 文档的,但是它同样适用于 HTML 文档2的搜索。所以在做爬虫时,我们完全可以使用 XPath 来做相应的信息抽取。

而常见的解析库包括 lxml(一种使用 Python 编写的库,可以迅速、灵活地处理 XML 和 HTML,还可以用于web爬取),Beautiful Soup,pyquery 等。

常用规则

在这里插入图片描述

实例引入

from lxml import etree
# 导入 lxml 库的 etree 模块
# 然后声明一段 HTML 文本,调用 HTML类进行初始化,成功构造一个 XPath解析对象。

text = '''
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>
'''

html = etree.HTML(text)
result = etree.tostring(html) 
print(result.decode('utf-8'))

# HTML 文本中最后一个 li 节点没有闭合,但是 etree 模块可以自动修正 HTML 文本。
# 调用 tostring() 方法即可输出修正后的 HTML 代码,但结果是 bytes 类型
# 可以用 decode() 方法将其转化为 str 类型

# 结果如下:
<html><body><div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值