xpath

最新推荐文章于 2024-07-19 16:36:18 发布
最新推荐文章于 2024-07-19 16:36:18 发布
阅读量62 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44270211/article/details/108759747
版权

爬虫的具体步骤

1、所需要数据对应的真实URL地址
2、找到对应的请求方式
3、使用第三方包，构造请求（注意需要进行伪装，headers的伪装，最重要的是需要进行浏览器伪装–User-Agent）
4、发送请求
5、收到响应之后，需要对响应体数据进行解析（普通的页面text，如果是多媒体文件是content）
6、将拿到的页面或者多媒体文件按照需求进行提取（正则）
7、将获取到的目标文件进行保存

html 与xml

作用
XML可扩展标记语言XML 被设计用来传输和存储数据，它的焦点内容是数据
HTML超文本标记语言显示数据以及如何更好的显示数据
HTML_DOM文档对象模型可以通过html_dom,访问所有的HTML元素

xml实例以及部分知识点

<bookstore>
先辈（bookstore）--后代(price,year)
<book category="COOKING">
  <title lang="en">Everyday Italian</title> 
  <author>Giada De Laurentiis</author> 
  <year>2005</year> 
  <price>30.00</price> 
</book>
<book category="CHILDREN">
  <title lang="en">Harry Potter</title> 
  <author>J K. Rowling</author> 
  <year>2005</year> 
  <price>29.99</price> 
</book>
<book category="WEB">
  <title lang="en">Learning XML</title> 
  <author>Erik T. Ray</author> 
  <year>2003</year> 
  <price>39.95</price> 
</book>
</bookstore>
#详情请移步W3C，讲的完善
父每一个元素以属性都有一个父类
子元素节点可以有零个，一个或者多个子
同胞拥有相同的父节点
先辈某节点的父，父的父。。。。。
后代某一个节点的子，子的子。。。。。

路径表达式

表达式说明
/代表从根节点选取
//从当前文档的任何位置找起，只要符合节点就行
@选取的是属性
.当前节点
…当前节点的父节点

举例：

从根节点找起：/html/body/div[9]/div/ul/li[3]/a
/html选取的是根元素html
//div选取的是所有的div子元素，不考虑节点在文档中的位置
div//span选择属于div元素的后代中所有的span元素，不管它位于div标签下的任何位置
//ul[@class=‘easyList’]相关的表达式的配合使用
//@class选择名为class的属性

xpath etree的作用

str1 = '''
<div>this is a div
'''

doc = etree.HTML(str1)
str2 = etree.tostring(doc)
print(str2)

展示：
b'<html><body><div>this is a div\n</div></body></html>'

注意点：
1、tostring()转换的字符串是bytes类型
2、lxml可以补齐缺失的HTML标签，还可以自动添加html 和 body标签

测试

不建议直接在网页上直接爬取，因为很多时候第一次不可能成功爬取，次数多了就会出现403错误，这是最头疼的，所以要进行测试在运用

import requests

url = 'https://hz.qk365.com/'#需要爬取的网页地址
html_str = requests.post(url=url).text 
print(html_str)
#拿到该页面下的所有html内容，然后复制所有的东西到新的一个py文件里建个字符串然后全部粘贴进去合起就可以开始测试

#记住url后加上header内容（User-Agent），莫瞎裸奔，一奔就被捉住隔离（坏笑）

import requests
from lxml import etree
html_str='''粘贴过来的内容'''
html_doc=etree.HTML(html_str)#记住要转，html_str就是自己命名的粘贴过来字符串名字
ret = html_doc.xpath('//span/i/text()')
print(ret)

注意点：
1、text()获取标签扩起来的内容，即i标签下的所有文本内容
2、xpath返回的数据类型是一个列表
3、尽量次数少的爬取网页。鬼知道下一次就没有被发现

爬取实例见下贴

大钦
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
XPath入门
wenxiaoba的博客
01-26 1284
XPath简易入门教程，了解XPath的基本使用
XPath
wuxinwudai的专栏
07-13 700
表达式 描述 示例 //node_name 文档中所有匹配 node_name 的结点 //div（文档中所有div） /node_name 选择当前元素中匹配 node_name 的结点 //div/ul (文档中所有div下的ul子元素) @attr 结点属性 //div/@class (所有div下有样式的子元素) ...
Xpath
Aaron_meng188的博客
04-24 1236
Xpath定位元素 使用Xpath定位元素 基本语法：//标签[@属性=‘值’] 在Xpath中绝对路径使用"/"单斜线，相对路径使用“//”。 Xpath使用/和//的区别 /: /后的元素是上一级节点的子节点中的一个，不能跳级。 //: 代表下级节点或者下级任何嵌套节点中的一个，可以跳级使用。 在路径中不要使用* ，要写明标签名。 Xpath text属性构建 //标签[text()=‘文本值’] 使用= 表示查找的“文本值”必须与所要查找的值一样包括空格。如果有空格 但是没有加就会出现查找
xpath注入
dahe
05-07 1626
1.什么是xpath XPath 使用路径表达式在 XML 文档中进行导航 XPath 包含一个标准函数库 XPath 是 XSLT 中的主要元素 XPath 是一个 W3C 标准 2.学习xpath 在了解xpath注入之前，可以先学习一下语法和基础知识 https://www.runoob.com/xpath/xpath-syntax.html 3.xpath注入是什么 XPath 注入利用 XPath 解析器的松散输入和容错特性，能够在 URL、表单或其它信息上附带恶意的 XPath
xpath介绍
m0_71494659的博客
06-22 5291
xpath是XML路径语言，它可以用来确定xml文档中的元素位置，通过元素路径来完成对元素的查找。HTML就是XML的一种实现方式，所以xpath是一种非常强大的定位方式。使用xpath需要在你的python里面安装lxml，操作方式：pip install lxml。
xPath
sinat_27023109的博客
04-08 1592
xPath笔记 xPath介绍 xPath是一门在XML文档中查找信息的语言。xPath用于在XML文档中通过元素和属性进行导航 XML节点 节点：元素，属性，原子值（文本），处理指令，注释，根节点，命名空间 节点间关系：父（parent），子（children），兄弟（sibling），祖先（ancestor），后代（descendant） 路径 绝对路径：/ # 根节点 相对路径...
xpath学习
qq_43203949的博客
08-24 9440
xpath学习 parsel包 该包主要用来将请求后的字符串格式解析成re,xpath,css进行内容的匹配，主要是对XML和HTML等进行分析。 xpath语法 / #根节点或节点间的过渡 // #跨越节点获取节点 . #选取当前节点 .. #当前节点的父节点 @ #选取属性 text() #选取文本 [index] #根据index获取第index个标签（index从1开始） [@Classname] #根据属性名
Xpath的使用(详细教学)
热门推荐
wangzhuanjia的博客
01-29 1万+
1.Xpath的概览 XPath的选择功能十分强大，他提供了非常简洁明了的路径选择表达式。另外，它还提供了100多个内建函数， 用于字符串，数值，时间的匹配以及节点，序列的处理。几乎所有我们想要定位的节点。都可以用XPath选择。 2.XPath常用规则 表达式 描述 nodename 选取此节点的所有子节点 / 从当前节点选取直接子节点 // 从当前节点选取子孙节点 . 选取当前节点 . . 选取当前节点的父节点 @ 选取属性 这里列出了XPath的一个常用匹
Xpath教程
m0_56863547的博客
09-22 785
Xpath教程 文章目录Xpath教程前言二、使用步骤1.下载Xpath库2.导入Xpath库3.Xpath节点4.Xpath语法参考资料 前言 XPath 是一门在 XML 文档中查找信息的语言。 # 一、Xpath是什么？ XPath 使用路径表达式在 XML 文档中进行导航 XPath 包含一个标准函数库 XPath 是 XSLT 中的主要元素 XPath 是一个 W3C 标准 二、使用步骤 1.下载Xpath库 代码如下（示例）： pip install lxml 2.导入Xpath库 代
谷歌浏览器XPath2.0插件
06-23
XPath（XML Path Language）是一种在XML文档中查找信息的语言，它允许我们通过路径表达式来选取节点，比如元素、属性和文本等。XPath 2.0是XPath的第二个主要版本，增加了更多的功能和优化。 在没有XPath Helper的...
IE下获取XPATH小工具源码_xpath_
09-30
XPath，全称XML Path Language，是一种在XML文档中查找信息的语言。它被设计用来选取XML文档中的节点，如元素、属性、文本等。在IE浏览器下，为了方便开发者获取XML或HTML文档中的XPath路径，存在一种小工具，本文将...
XPath jar
10-27
XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。 因此，对 XPath 的理解是很多...
【Python如何将字符串连接在一起并使用`join()`方法】
最新发布
qq_36253366的博客
07-19 167
方法是字符串对象的方法，而不是列表或元组等序列类型的方法。因此，你需要先指定一个用作分隔符的字符串，然后调用这个字符串的。方法将字符串连接在一起，你需要首先确保这些字符串被存储在一个序列类型中（如列表或元组），然后调用这个序列的。方法是一个字符串方法，它用于将序列（如列表、元组等）中的元素以指定的字符连接生成一个新的字符串。列表中的所有字符串元素使用空格作为分隔符连接成一个新的字符串。方法，并将你想要作为分隔符的字符串作为参数传递给。方法，并将包含要连接字符串的序列作为参数传递。
华为od机试真题 — 代表团坐车(Python)
学习,你不是一个人在战斗 ～ 961302305（QQ,微信）
07-17 571
【华为od机试真题 】代表团坐车(Python) 某组织举行会议，来了多个代表团同时到达，接待处只有一辆汽车可以同时接待多个代表团，为了提高车辆利用率，请帮接待员计算可以坐满车的接待方案输出方案数量。
IPython 日志秘籍：%logstate 命令全解析
2401_85812026的博客
07-17 559
logstate命令是 IPython 日志系统的重要组成部分，它帮助我们掌控日志记录的状态。通过本文的介绍，你应该对如何在 IPython 中使用%logstate查看日志状态有了更深入的理解。记住，合理利用日志系统，可以让你的数据探索过程更加透明和可追溯。本文详细介绍了 IPython 的%logstate命令，包括其基本概念、基本用法、输出解析以及实战示例。希望本文能够帮助读者更好地利用 IPython 的日志系统，优化数据探索和科学计算的工作流。记住，掌握%logstate。
Python每日一题：回文数
xiongxiaoxuan的博客
07-16 268
回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。例如，121 是回文，而 123 不是。给你一个整数 x ，如果 x 是一个回文整数，返回 true；否则，返回 false。解释：从左向右读, 为 -121。从右向左读, 为 121-。因此它不是一个回文数。先将整数x转化为字符串形式，判断x和它的反转形态是否完全相等。解释：从右向左读, 为 01。需注意：True和False首字母大写！提示：-231

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值