Python爬虫——解析_xpath的基本使用

错过人间飞鸿

已于 2023-08-06 22:42:22 修改

阅读量616

点赞数

分类专栏： Python爬虫文章标签： python 爬虫

于 2023-07-23 17:14:13 首次发布

本文链接：https://blog.csdn.net/m0_63757342/article/details/131881253

版权

Python爬虫专栏收录该内容

35 篇文章 1 订阅

订阅专栏

安装lxml库

pip install lxml -i https://mirrors.tuna.tsinghua.edu.cn/

导入lxml.etree

from lxml import etree

解析本地文件 etree.parse()

tree = etree.parse('xx.html')

服务器响应文件 etree.HTML()

tree = etree.HTML(response.read().decode('utf-8'))

基本语法

tree.xpath('xpath路径')

先写一个本地的HTML文件

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8"/>
    <title>Title</title>
</head>
<body>
    <ul>
        <li id="l1" class="c1">北京</li>
        <li id="l2">上海</li>
        <li id="c3">天津</li>
        <li id="c4">重庆</li>
    </ul>
</body>
</html>

路径查询
//：查找所有子孙节点，不考虑层级关系
/：查找直接子节点

# 查找ul下面的li
li_list = tree.xpath('//ul/li')
print(li_list)

内容查询
//div/h1/text()

li_list = tree.xpath('//ul/li/text()')
print(li_list)

谓词查询
//div[@id]
//div[@id=“maincontent”]

# 查找所有有id的属性的li标签
li_list1 = tree.xpath('//ul/li[@id]/text()')
print(li_list1)

# 找到id为l1的li标签  注意引号问题
li_list2 = tree.xpath('//ul/li[@id="l1"]/text()')
print(li_list2)

属性查询
//@class

# 查找到id为l1的li标签的class的属性值
li = tree.xpath('//ul/li[@id="l1"]/@class/text()')
print(li)

模糊查询
//div[contains(@id, “he”)]
//div[starts-with(@id, “he”)]

# 查询id中带l的li标签
li_list3 = tree.xpath('//ul/li[contains(@id, "l")]/text()')
print(li_list3)

# 查询id的值以c开头的li标签
li_list4 = tree.xpath('//ul/li[starts-with(@id, "c")]/text()')
print(li_list4)

逻辑运算
//div[@id=“head” and @class=“s_down”]
//title | //price

# 查询id为l1和class为c1的数据
li_list5 = tree.xpath('//ul/li[@id="l1" and @class="c1"]/text()')
print(li_list5)

# 查询id为l1或者为l2的数据   只能通过标签操作，而不允许属性操作
li_list6 = tree.xpath('//ul/li[@id="l1"]/text() | //ul/li[@id="l2"]/text()')
print(li_list6)