网络爬虫 - 5 Xpath的使用方法与爬取案例

最新推荐文章于 2022-10-06 18:00:00 发布
最新推荐文章于 2022-10-06 18:00:00 发布
阅读量775 收藏 3
点赞数 1
分类专栏： 网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hanbo6/article/details/81637337
版权
本文介绍了XPath的基本概念，包括XML的作用和与HTML的区别。详细讲解了XPath的路径表达式和函数，并提供了实际的使用案例，适用于网络爬虫的数据提取。还讨论了懒加载技术在网页图片加载中的应用。
摘要由CSDN通过智能技术生成

1.Xpath简介

(1)xml概念: 被设计用来传输和存储数据，和json同处于一个位置，但是目前以json居多

(2)xml和html的不同点:
（a）xml用来传输数据，html用来显示数据
（b）xml的标签没有被预定义，html的标签是预定义好的
（c）xml具有自我描述性

(3)常用的路径表达式:

/  : 从根节点开始查找
// : 从任意位置开始查找
.  : 从当前节点开始查找
.. : 从父节点开始查找
@  ：选取属性

(4)路径表达式

bookstore/book  : 从bookstore下面找book节点，book必须是bookstore的直接子节点
bookstore//book : 从bookstore下面找book节点, book可以使直接子节点也可以是孙子节点
//book  : 从文档中任意位置找book节点
//@lang : 查找所有拥有lang属性的节点
bookstore/book[1]       : 直接子节点第一个book，下标从1开始
bookstore/book[last()]  : 直接子节点
最低0.47元/天 解锁文章
韩波的博客
关注
专栏目录
Python爬虫应用实战案例-xpath正则表达式使用方法，爬取精美壁纸
wenyusuran的专栏
09-30 1312
使用XPath XPath，全称XML Path Language，即XML路径语言，它是在XML语言中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。 在上一篇文章中讲述了正则表达式的使用方法，正则表达式的难度还是比较大的，如果不花足够多的时间去做的话还是比较难的，所以今天就来分享比正则简单的内容，方便大家接下来的学习。 XPath常用规则 XPath的规则是非常丰富的，本篇文章无法一次性全部概括，只能为大家介绍几个常用的规则。 表达式 描述 node
python中的xpath爬虫实例，新人处女作！！！
Musica_l的博客
08-31 3025
首先声明，自己算是小白，还是偏感性女性思维，刚接触python没有多久，所以以下文字中有不专业的地方，请多多指出，不吝赐教。我是学了正则和bs4然后学的xpath，其实我开始并不想做笔记，但是发现自己学完了之后就全忘记了，特意做一下笔记。我着重讲实例。 求点赞、评论、关注！！！！！！ 可以先看一下xpath的基本逻辑： #xpath解析原理： -1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中 -2.调用etree对象的xpath方法结合着xpath表达式实现标签的定位和..
在Python中使用Xpath进行数据爬取的案例
mangguochang的专栏
11-05 1519
#!/usr/bin/evn python # -*- coding:utf-8 -*- import urllib2 import urllib from lxml import etree class proxyObj: proxyService=""; proxyPort="" proxyHttp="http" proxy_headers={ "User-Agent": ...
【爬虫】XPath实例
萌狼蓝天の技术栈
10-06 556
题目要求我们用XPATH去爬某个网站并且保存为CSV文件 代码如下，仅供参考 # -*- coding: UTF-8 -*- # 开发人员：萌狼蓝天 # 博客：Https://mllt.cc # 笔记：Https://cnblogs.com/mllt # 哔哩哔哩/微信公众号：萌狼蓝天 # 开发时间：2022/10/5 import pandas as pd import requests im...
python爬虫案例：使用XPath的爬虫
人生苦短， 还不用Python？
05-24 622
现在我们用XPath来做一个简单的爬虫，我们尝试爬取某个贴吧里的所有帖子且将该帖子里每个楼层发布的图片下载到本地。
xpath爬取项目
qq_45346273的博客
10-31 258
扇贝爬取 import requests from lxml import etree import json class ShanBei(object): def __init__(self,url,result): self.url = url self.result = result self.headers = { ...
xiaChuFang-python爬虫案例-下厨房网站信息爬取.rar
最新发布
05-31
在“下厨房”网站信息爬取案例中，我们首先要明确目标：获取下厨房网站上的菜谱信息，包括菜名、作者、步骤、所需材料等。为了实现这个目标，我们需要分析网站的URL结构和数据组织方式，找出数据所在的HTML元素，并...
python爬虫学习案例-.电商独立站产品爬取.rar
05-30
总结来说，本Python爬虫学习案例将带领我们深入理解如何使用Python爬虫技术抓取电商独立站的产品信息，包括自动翻页功能的实现，数据的提取、存储和分析。掌握这些技能不仅可以提升数据获取能力，也为后续的数据分析...
爬虫学习资源，有xpath爬取,beautifulsoup爬取，selenium爬取
06-02
【标题】"爬虫学习资源，有xpath爬取,beautifulsoup爬取，selenium爬取"揭示了这个压缩包文件包含的是与网络爬虫技术相关的学习资料，特别提到了三种主流的网页解析方法：XPath、BeautifulSoup以及Selenium。...
xpath解析案例-4k图片解析爬取.py
08-16
xpath解析爬取彼岸网4K图片爬取源代码,所谓的4k并非真正的4k,因为4k图片需要登录下载,并且一天只能下载一张,以本人得技术实现不了,只是个人在学习的时候编写的.顺便分享出来, 如果有大神可以有简单易懂的方法来解决这个问题, 请指出.代码方面有什么需要简化的或者需要功能改进的可以指出,谢谢
xpath 的语法
07-23
解析xml和html的节点语法 用这个语法知识就能非常容易弄懂xml和html的文件并且用系统或第三方的包将其中节点的内容给取出来
使用xpath进行简单的爬虫练习
岁月如歌
03-20 1284
xpath 解析原理 # 1. 实例化一个 etree 的对象，且需要将被解析的页面源码数据加载到该对象中 # 2. 调用etree对象中的xpath方法，结合xpath的表达式，实现标签的定位和内容的捕获 环境安装 # pip install lxml 如何实例化一个 etree 对象 # 1. 将本地的html文档中的源码数据加载到 etree 对象中 # etree.parse(filepath) # 2. 可以从互联网上获取的源码数据，加载到该对象中 # etree.HTML('
xpath爬虫_python爬虫全套教程（十四）--案例：使用XPath的爬虫
weixin_39578197的博客
12-13 129
案例：使用XPath的爬虫现在我们用XPath来做一个简单的爬虫，我们尝试爬取某个贴吧里的所有帖子，并且将该这个帖子里每个楼层发布的图片下载到本地。#coding=utf-8 import requests from lxml import etree import json class Tieba: def __init__(self,tieba_name): sel...
Python--通过XPath实现网络爬虫
似水流年
11-10 502
安装lxml流程 首先通过下载lxml从中选择适合你的电脑的版本。一般包含Python版本和电脑版本。 下载很慢，但是下载好之后是lxml-3.5.0-cp27-none-win_amd64.whl（Python2.7、64位Windows10）文件 我的方法是将该文件放到D:\Software\Python2.7\Scripts安装文件的目录下，然后打开命令行，进入到该目录下再输入命令 pip i
网络爬虫---XPath表达式
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
03-18 272
1.XPath表达式与正则表达式的简单比较 （1）XPath表达式的执行效率更高 （2）正则表达式的功能会更加强大一些 （3）一般来说，优先选用XPath表达式，XPath表达式解决不了的再用正则表达式取解决 2.XPath表达式基础知识 /     逐层提取 text()    提取标签下的文本 //标签名xx  ...
python爬虫之xpath解析附示例
Qlz的博客
05-27 2518
xpath解析 xpath是在XML文档中搜索内容的一门语言，html是xml的一个子集 我们在使用xpath的过程中类似于对于文件目录的访问 <book> <id>1</id> <name>野花遍地⾹</name> <price>1.23</price> <author> <nick>周⼤强</nick> <nick&
python爬虫（八）xpath案例
hwwaizs的博客
08-21 2794
xpath复习 导入第三方库，向网页发起请求，获取html文件，把html文件加载成element对象加载给tree，然后就可以使用xpath方法，xpath是不确定的路径，通过字符串的形式把确定的路径传进去，就能够根据路径找到元素。 **需求：**取出前三个li标签里文本值和class值，保存到csv文件里 from lxml import etree import csv # etree 里包含了xpath的一些功能 html = """ <html> <head>
使用XPath的爬虫
weixin_42567702的博客
03-30 169
使用XPath的爬虫 现在我们用XPath来做一个简单的爬虫，我们尝试爬取某个贴吧里的所有帖子，并且将该这个帖子里每个楼层发布的图片下载到本地。 #coding=utf-8 import requests from lxml import etree import json class Tieba: def __init__(self,tieba_name): self.tieba_name = tieba_name #接收贴吧名 #设置为手机端的UA self.headers =
python爬虫案例xpath
12-21
以下是一个使用XPath进行网页数据爬取的Python爬虫案例： ```python import requests from lxml import etree # 发送HTTP请求获取网页源代码 url = "http://example.com" # 替换为你要爬取的网页地址 response = ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值