爬虫学习日记第四篇(xpath解析)

最新推荐文章于 2024-04-08 12:57:17 发布

开心星人

最新推荐文章于 2024-04-08 12:57:17 发布

阅读量2.3k

点赞数

分类专栏： Python 文章标签：爬虫 python

本文链接：https://blog.csdn.net/qq_55675216/article/details/122566102

版权

Python 专栏收录该内容

19 篇文章 0 订阅

订阅专栏

xpath概述

💥xpath解析原理：
1、实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中
2、调用etree对象中的xpath方法，结合这xpath表达式实现标签定位和内容的捕获

💦如何实例化一个etree对象：from lxml import etree
1、将本地的html文档中的源码数据加载到etree对象中：
etree.parse(filePath)
2、也可以将从互联网上获取的源码数据加载到该对象中
etree.HTML(‘page_text’)

xpath定位

获取文本:
//标签1[@属性1="属性值1"]/标签2[@属性2="属性值2"]/……/text()
#返回结果为列表

获取属性值:
//标签1[@属性1="属性值1"]/标签2[@属性2="属性值2"]/……/@属性n
#返回结果为列表

[@属性="属性值"]不是必须的，它的作用是帮助过滤相同的标签

/表示一个层级，也表示根节点
//表示可以跨过多个层级

这里拿我很久以前写的一个html文件做下简单的示例

<!DOCTYPE html>
<html lang="en">

<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Document</title>
    <link rel="stylesheet" href="style.css">
</head>

<body>
    <div class="all">
    <div class="header_content">
        <div class="logo">
            <a href="#">
                <image src="images/微软.svg" height=54px width=137px>
            </a>
        </div>
        <div class="nav">
            <ul class="nav_left">
                <li><a href="#">Microsoft365</a></li>
                <li><a href="#">Office</a></li>
                <li><a href="#">Windows</a></li>
                <li><a href="#">Surface</a></li>
                <li><a href="#">Xbox</a></li>
                <li><a href="#">优惠</a></li>
                <li><a href="#">支持</a></li>
                <li class="nav_right"><a href="#">所有Microsoft</a></li>
            </ul>
        </div>
    </div>
    </div>
</body>
</html>

from lxml import etree
if __name__=="__main__":
    tree=etree.parse('exam.html')
    r0=tree.xpath('//ul/li/a/text()')
    r1=tree.xpath('//ul/li//text()')   # //跨越多级
    #r0、r1都为['Microsoft365', 'Office', 'Windows', 'Surface', 'Xbox', '优惠', '支持', '所有Microsoft']
	
	r2=tree.xpath('//ul/li[1]//text()')
	#返回结果['Microsoft365'] ，注意索引是从1开始的，而不是0
	
	r3=tree.xpath('//div[@class='logo']//image/@src')
	#返回结果['images/微软.svg']
	
	r4 = tree.xpath('//div[@class="nav"]//li[1]/a/@href')
	#返回结果['#']

一定要看下面的例子，才能更明白，这个部分并不困难。
感谢观看，如果有错误，还望指出。💦

视频学习链接，我是跟着这个视频学习的

开心星人

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
爬虫学习日记第四篇(xpath解析)

xpath概述????xpath解析原理：1、实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中2、调用etree对象中的xpath方法，结合这xpath表达式实现标签定位和内容的捕获????如何实例化一个etree对象：from lxml import etree1、将本地的html文档中的源码数据加载到etree对象中：etree.parse(filePath)2、也可以将从互联网上获取的源码数据加载到该对象中etree.HTML(‘page_text’)xpat
复制链接

扫一扫