爬虫 xpath() 基础+提升 必备秘籍 超详细 建议保留

已于 2022-03-24 15:58:29 修改
阅读量1.6k 收藏 16
点赞数 17
分类专栏： 爬虫 python 文章标签： 爬虫 网络爬虫 爬山算法 python
于 2022-03-04 13:17:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46906413/article/details/123218907
版权
python 同时被 2 个专栏收录
43 篇文章 29 订阅
订阅专栏
爬虫
7 篇文章 17 订阅
订阅专栏

爬虫匹配中的一些字符所代表的意思

TODO         表达式                      描述
TODO         nodename             选取此节点中的全部接节点
TODO         /                    从当前节点选取直接子节点
TODO         //                   从当前节点选取子孙节点
TODO         .                    选取当前节点
TODO         ..                   选取当前节点的父节点
TODO         @                    获取属性

注意，此处非常重要，学爬虫必不可少

当你了解了一些爬虫了之后你就会发现爬虫就是模仿浏览器(此处不含cookie,后期会单独介绍cookie)对网页的html中的数据进行读取和保存，其实这些工作人工也可以做，但是人工可能会缺失某些数据且因为数据量大的原因所需人工量大就使人工费变得很高。某种语言和技术的发展背后肯定有推动发展的因素，所以，爬虫技术应运而生。

注意：：：
因为爬取具体的网站涉及到版权问题，我也是尝试了很久很久，最终代码里的网址用“ 网站地址 ”表示
注意：：：
因为爬取具体的网站涉及到版权问题，我也是尝试了很久很久，最终代码里的网址用“ 网站地址 ”表示
注意：：：
因为爬取具体的网站涉及到版权问题，我也是尝试了很久很久，最终代码里的网址用“ 网站地址 ”表示

重要事说三遍

找到User-Agent，因为这个网站没有涉及到登录（只有登陆后才能获取相应的操作），所以不用获取cookie。

**

xpath_通用规则

**

from lxml import etree

import requests
url="网站地址"
headers={
    "User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"
}
response=requests.get(url,headers=headers)
print(response.text)



#初始化xpath        etree  可以自动修正文本
# html=etree.HTML(response.text,etree.HTMLParser())
html=etree.HTML(response.text)
result=etree.tostring(html)
KK=result.decode("utf-8")
print(KK)

结果：

在这里插入图片描述
response.text 获取文本
result=etree.tostring(html) 中etree函数是使获取的html文本自动格式化，不然获取的html文档是乱糟糟的
可以发现获取的是一长段，整个网页的html，下面我们将对这些html进行一些操作和匹配，取出需要的数据，粗略看了一下，国外的网站，基本上没有发现中文。（用国内网访问竟然非常丝滑）

**

定位所有节点

**

from lxml import etree

import requests
url="网站地址"
headers={
    "User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"
}
response=requests.get(url,headers=headers)
print(response.text)
#xpath()进行节点定位
result=html.xpath('//*')
#xpath 进行  li节点
result1=html.xpath('//li')[0]
print(result)
print("*"*88)
print(result1)

结果：

在这里插入图片描述
**

定位子节点

**

from lxml import etree

import requests
url="网站地址"
headers={
    "User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"
}
response=requests.get(url,headers=headers)
print(response.text)

# 选取所有子节点   li节点下的a节点（标签）
result=html.xpath('//li/a')     #  /  子节点
#选取所有子节点
result1=html.xpath('//li//a')    #  //   子孙节点
print(result)


result2=html.xpath('.//ul//a')
print(result2)

结果

在这里插入图片描述
**

定位父节点

**

from lxml import etree

import requests
url="网站地址"
headers={
    "User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"
}
response=requests.get(url,headers=headers)
print(response.text)

#  .. 寻找父节点
result=html.xpath('//a[@href="/sites/silvia-sguotti"]/../@class')
print(result)
result2=html.xpath('//a[@href="/sites/silvia-sguotti"]/parent::*/@class')
print(result2)


//a[@href="/sites/silvia-sguotti"]/../@class
指的是//当前所选中的子孙节点a节点且class
属性为"/sites/silvia-sguotti",当前节点的父节点

result2也是同一个意思，不过就是方法复杂些，一般不使用
在这里插入图片描述

结果

在这里插入图片描述
**

属性匹配

**

from lxml import etree

import requests
url="网站地址"
headers={
    "User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"
}
response=requests.get(url,headers=headers)
print(response.text)

# @过滤属性
result=html.xpath('//li[@class="col-3"]')
print(result)

首先得到url,headers里面是"User-Agent"，为后面request.get方法调用url,headers为装了浏览器做铺垫，伪造浏览器向服务器发送请求

结果

在这里插入图片描述
'//li[@class=“col-3”]'我们可以发现[@class=“col-3”]通过class属性为 "col-3 "定位class节点，然后匹配出当前节点下的所有li节点。通过图片结果我们可以发现都是对象，但是可以明显的发现每个对象都有一个li节点，因为节点下还有其他的节点，所以干脆封装成为一个节点。
**

文本获取

**
初始化xpath,模仿浏览器访问操作不变，只需要改变result即可

from lxml import etree

import requests
url="网站地址"
headers={
    "User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"
}
response=requests.get(url,headers=headers)
print(response.text)
result=html.xpath('//div[@class="row"]/h3/a/text()')[0]
print(result)

可以清晰地发现定位class="row"标签，然后定位当前目录下的h3标签下的a标签中的text文本，是不是非常简单

结果

在这里插入图片描述
**

属性获取

**

from lxml import etree

import requests
url="网站地址"
headers={
    "User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"
}
response=requests.get(url,headers=headers)
#初始化xpath
html=etree.HTML(response.text)
result2=html.xpath('//li//div[@class="row"]//a/@href')
print(result2)

'//li//div[@class="row"]//a/@href' 定位到当前子孙节点li节点，找到div ,属性class="row"节点，再找其节点下的子孙节点a节点，再定位a节点下的href属性，匹配所需要的值
提取href属性下的所有：

结果

在这里插入图片描述
**

属性多值匹配

**

from lxml import etree

import requests
url="网站地址"
headers={
    "User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"
}
response=requests.get(url,headers=headers)
#初始化xpath
html=etree.HTML(response.text)
# 多属性多值匹配
result=html.xpath('//div[@class="row row-2col"]/div[@class="box-right"]/text()')
print(result)
#  TODO    contains 方法  ，result2和上面的result1 结果一致
result2=html.xpath('//div[contains(@class,"row")]/div[@class="box-right"]/text()')
print(result2)

print(result2==result)      #True           ==     判断value值       value值一样
print(result is result2)    #False          is     判断地址是否一样    存储地址不一样

('//div[@class="row row-2col"]/div[@class="box-right"]/text()')，因为class有多个属性，所以两个属性都要匹配，这样准确地会很高，弱国只匹配一个很有可能会什么都匹配不到。然后后面和前面一样了

('//div[contains(@class,"row")]/div[@class="box-right"]/text()')，和第一个结果一样，但是运用了contains函数，比较简单方便，建议使用。

赠送一个清洗数据的方法

# TODO  清洗数据
for i in result:
    print(i.strip())

循环遍历提取到的东西，然后运用python里面的strip()函数即可清洗数据，要想讲一段字符分割提取需要的一部分就需要python的spilt()函数了。

结果：

在这里插入图片描述
**

多属性匹配

**

from lxml import etree

import requests
url="网站地址"
headers={
    "User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"
}
response=requests.get(url,headers=headers)
#初始化xpath
html=etree.HTML(response.text)
result1=html.xpath('//div[@class="wrapper "]//div[@class="pull-left"]//text()')
print(result1)
print('*'*80)
result=html.xpath('//nav[(@class="nav-main")and(@id="nav-main")]//span[contains(@class,"link-underlined")and(@data-menu-id="menu-lang")]/text()')           #  ['\n                    English\n                ']
print(result)

结果

在这里插入图片描述
**

多属性匹配无非就是像if判断里面的与操作，只有当与两边的条件全部为真才能进行下面的。多属性值判断也是一样的意思。就是通过更多的限制去匹配所需要匹配的内容。这样的效果会比较差，因为只能匹配比较死的数据，数据的量有一定限制，但是当反爬虫足够强大时也不失为一个好的方法。

**

**

按序选择

**

from lxml import etree

import requests
url="网站地址"
headers={
    "User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"
}
response=requests.get(url,headers=headers)
#初始化xpath
html=etree.HTML(response.text)
# 按序匹配
result1=html.xpath('//li[1]/div[@class="box-item"]//a[@href]')
print(result1)

print("*"*100)
result=html.xpath('//li[1]/div[@class="box-item"]//a/@href')
print(result)

print("&"*88)
#按序匹配  取第一个li节点
result3=html.xpath('//li[1]/div/a/@href')
print(result3)

和上面所说的一样，无非就是定位、匹配、提取
分享一个网站，艺术设计的，感兴趣的去看看，懂得都懂
艺术设计

不良使
关注
  • 17
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 13
    评论
专栏目录
电商网站python爬虫(selenium+xpath+peewee)
06-30
电商网站python爬虫 过程说明： 1. selenium以chromedriver驱动chrome浏览器打开目标站（真浏览器，比curl或requests访问更难被察觉） 2. beautifulsoup4解析结果dom，提取有用字段 3. peewee存结果到数据库 4. 同时...
XPath详解教程
PY洋洋
01-14 2万+
目录 1. XPath 概览 2. XPath 常用规则 3. 准备工作 4.实例引入 5.所有节点 6. 子节点 7.父节点 8.属性匹配 9.文本获取 10.属性获取 11.属性多值匹配 12. 多属性匹配 13.按序选择 14. 节点轴选择 结语
XPath超详细总结
qq_44619675的博客
02-22 1万+
XPath XPath，全称 XML Path Language，即 XML 路径语⾔，它是⼀⻔在 XML ⽂档中查找信息的语⾔。最初是⽤来搜寻 XML ⽂档的，但同样适⽤于 HTML ⽂档的搜索。所以在做爬⾍时完全可以使⽤ XPath做相应的信息抽取。 1、XPath概览 XPath 的选择功能⼗分强⼤，它提供了⾮常简洁明了的路径选择表达式。另外，它还提供了超过100 个内建函数，⽤于字符串、数值、时间的匹配以及节点、序列的处理等，⼏乎所有想要定位的节点都可以⽤ XPath 来选择。      官⽅⽂档：
Python : Xpath简介及实例讲解
xiaobai729的博客
04-11 4万+
文章目录一、Xpath简介二、Xpath语法规则语法规则标签定位属性定位索引定位取文本内容三、语法规则练习 前言 本篇文章只是简单介绍一下Xpath及使用，总体来说比较基础。 一、Xpath简介 XPath（XML Path Language - XML路径语言），它是一种用来确定XML文档中某部分位置的语言。 Xpath以XML为基础，提供用户在数据结构树中寻找节点的能力，Xpath被很多开发者亲切的称为小型查询语言。 二、Xpath语法规则 xpath可以使用路径表达式在XML上选取节点，从而达到确
数据解析之Xpath解析（超详细定位）
ChatYU的博客
09-21 1万+
XPath（XML Path Language）是一种XML的查询语言，他能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。lxml是python中的一个第三方模块，它包含了将html文本转成xml对象，和对对象执行xpath的功能表达式说明举例从根节点开始选取//从任意节点开始选取//input选取当前节点..选取当前节点的父节点//input/..
xpath介绍
m0_71494659的博客
06-22 5383
xpath是XML路径语言，它可以用来确定xml文档中的元素位置，通过元素路径来完成对元素的查找。HTML就是XML的一种实现方式，所以xpath是一种非常强大的定位方式。使用xpath需要在你的python里面安装lxml，操作方式：pip install lxml。
爬虫系列课+Python技术+爬虫与反爬+基础入门课
04-04
1. **Python爬虫入门基础** - 1.1 爬虫概念及其工作原理 - 1.2 Python环境搭建与爬虫库介绍 - 1.3 爬虫的合法性与道德规范 2. **网络请求与HTML基础** - 2.1 HTTP协议基础 - 2.2 使用requests库发起网络请求 -...
爬虫利器：Python + Xpath Helper插件
最新发布
06-14
通过使用Python爬虫以及XPath Helper插件，我们可以轻松地获取目标网页上的图片链接。在使用XPath表达式时，我们可以先通过谷歌浏览器安装XPath插件，随后在爬虫程序中调用XPath表达式，解析网页排版结构，从而准确...
浏览器xpath插件,学习爬虫必备
12-27
XPath（XML Path Language）是一种在XML文档中查找信息的语言，它是网页抓取，尤其是爬虫技术中的...通过熟练掌握XPath和相关插件的使用，可以大大提高爬虫开发的精确度和速度，为数据分析和网络信息挖掘打下坚实基础。
爬虫xpath相关规则
03-06
爬虫xpath相关规则
5.网络爬虫——Xpath解析
weixin_50804299的博客
03-22 1万+
Xpath简介 XPath是一种用于在XML文档中定位节点的语言，它可以用于从XML文档中提取数据，以及在XML文档中进行搜索和过滤操作。它是W3C标准的一部分，被广泛应用于XML文档的处理和分析。 XPath使用路径表达式来描述节点的位置，这些路径表达式类似于文件系统中的路径。路径表达式由一个或多个步骤(step)组成，每个步骤描述了一个节点或一组节点。步骤可以使用关系运算符(如/和//)来连接，以便描述更复杂的节点位置。 XPath还提供了一些内置函数和运算符，可以对XML文档中的数据进行操作和计算
学爬虫利器XPath,看这一篇就够了
libaiup的博客
12-19 3940
因为 XPath 中 text() 前面是 /，而此 / 的含义是选取直接子节点，而此处很明显 li 的直接子节点都是 a 节点，文本都是在 a 节点内部的，所以这里匹配到的结果就是被修正的 li 节点内部的换行符，因为自动修正的li节点的尾标签换行了。第一次选择我们调用了 ancestor 轴，可以获取所有祖先节点，其后需要跟两个冒号，然后是节点的选择器，这里我们直接使用了 *，表示匹配所有节点，因此返回结果是第一个 li 节点的所有祖先节点，包括 html，body，div，ul。
Python爬虫解析工具之xpath使用详解
程序员小十一的博客
08-19 1万+
文中详解介绍了Python爬虫开发中常见的数据解析方式重点是xpath解析工具，如xpath概念、xpath插件安装、lxml库安装、xpath路径表达式、xpath结合Python代码的使用
Python爬虫之xpath的详细使用（爬虫）
墨痕诉清风的博客
07-13 3万+
8、上面我们使用绝对路径，查找了所有a标签的属性等于href属性值，利用的是/---绝对路径，下面我们使用相对路径，查找一下l相对路径下li标签下的a标签下的href属性的值，注意，a标签后面需要双//。7、上面我们找到全部都是绝对路径（每一个都是从根开始查找），下面我们查找相对路径，例如，查找所有li标签下的a标签内容。3、获取某个标签的内容(基本使用)，注意，获取a标签的所有内容，a后面就不用再加正斜杠，否则报错。5、打印指定路径下a标签的属性（可以通过遍历拿到某个属性的值，查找标签的内容）
xpath介绍 xpath使用 xpath常用函数 Chrome自动生成Xpath 表达式 [10分钟学会xpath]
weixin_45598506的博客
01-19 2107
Xpath 使用1.什么是Xpath2.Xptah解析原理3.如何安装Xpath4.如果使用Xpath5.Xpath 表达式5.Xpath 常用函数6.Chrome自动生成Xpath 表达式 1.什么是Xpath XPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来
XPATH基本语法
mingyqf的博客
03-20 2万+
转发至：https://www.cnblogs.com/wendyw/p/11633588.html#_label0 XPATH基本语法 目录 1.XPATH与自动化之间的关系 2.XPATH简介 3.XPATH术语 4.XPATH语法 5.XPATH轴 6.XPATH运算符 7.用Text构建有效的XPATH 8.用Contains关键字构建有效的XPATH 9.用startwith关键字构建有效的XPATH 回到顶部 1.XPATH与自动化之间的关系 1.XPATH是
Python爬虫实战之xpath解析
热门推荐
阿浩的博客
08-01 4万+
XPath是一门在XML文档中查找信息的语言，最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。所以在Python爬虫中，我们经常使用xpath解析这种高效便捷的方式来提取信息。
XPath语法、轴、运算符-满满干货拿走不谢
小鹏linux的博客
03-18 1万+
XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。
详细分析Python爬虫中的xpath（附Demo）
码农研究僧的博客
04-07 3299
XPath（XML Path Language）是一种用于在XML文档中定位和选择节点的语言 在XML文档中通过路径表达式（path expression）来定位节点，这些路径描述了节点在层次结构中的位置
XPath与lxml模块详解：爬虫必备基础知识
本文档详细介绍了XPath语法和Python中的lxml模块，旨在帮助读者掌握如何在XML和HTML解析中高效地使用XPath。 一、XPath是什么？ XPath是XML Path Language的缩写，它是一种在XML文档中查找信息的语言，用于选取XML...
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不良使

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值