网页爬虫-八爪鱼Xpath自定义数字翻页

已于 2022-01-21 20:48:10 修改
阅读量2.6k 收藏 3
点赞数 2
分类专栏： 网页爬虫 文章标签： 爬虫 html xpath
于 2022-01-21 20:47:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46179600/article/details/122628138
版权

八爪鱼Xpath自定义数字翻页

常规数字翻页

常规的数字翻页设置后，抓取的页面停留在第一页。这是因为页码的html编码采用了li的列表式的数字。

这时候需要据此手动设置翻页的循环中的Xpath.

 

自定义Xpath数字翻页

流程图

 

自定义Xpath

与上述html源码图对应的Xpath，取当前页的下一页。当前页的li的class属性为"page-number active"。将上述Xpath添加到“循环翻页”的设置中的“循环方式”定义为“单个元素”下的方框。

Xpath如下（需要根据当前页的属性进行定位后选取下一页）：

//li[@class="page-number active"]/following-sibling::li[1]

 

调试Xpath

建议

最低0.47元/天 解锁文章
Proceeding_Lin
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
八爪鱼网络爬虫工具——学习笔记整理
小小梦想家
02-14 2万+
八爪鱼是一款网页爬虫工具，可以不用编写代码快速实现网页数据的爬取。 关于其基础操作，可以在其官网的使用教程http://www.bazhuayu.com/tutorialIndex 进行查看。其中主要针对其翻页和带有验证码的登录以及xpath操作进行阐述。 特殊翻页 数字翻页 在制作采集规则时，页面没有“下一页”等翻页按钮，而是一排页码，如"1","2","3","4","5"…… 如何...
Xpath使用follwing-sibling()函数实现数字翻页
qq_36106205的博客
05-23 2508
问题：使用Xpath提取信息时，出现的网页没有"下一页"按钮，只有数字，如网页示例网页 解决办法： 1. 通过查看不同页URL的区别，可以将需要的URL作为数据，导入八爪鱼中进行数据采集 2. 查看源码，通过观察Xpath的不同实现翻页功能 讲解方法2 通过Xpath提供的函数，可以实现获取下一页的操作，该函数是following-sibling() 使用的Xpath： //span[...
python-Xpath语法
zyx13513314194的博客
11-24 2067
一、XMl简介 （一）什么是 XML XML 指可扩展标记语言(EXtensible XML 是一种标记语言，很类似 HTML。 XML 的设计宗旨是传输数据，而非显示数据。 XML 的标签需要我们自行定义。 XML 被设计为具有自我描述性。 XML 是 W3C 的推荐标准。 W3School 官方文档：http://www.w3school.com.cn/xml/index.asp （二）XML 和 HTML 的区别 他们两者都是用于操作数据或者结构数据，在结构上大致相同的，但他们在本质上却存在着明显
xpath
weixin_42458578的博客
09-07 562
主流浏览器都支持xpath语法 在F12 Console里用$x(‘’)里输入定位信息   根节点用/表示，对应整个html   //option 选择整个文档中的所有的option节点，不管什么位置 //表示从当前节点寻找所有的后代元素，不管它在什么位置 //div//p 表示选择所有的div元素里的p元素，不管div在什么位置， 不管p元素在div下面的什么位置 类似css选择...
2-八爪鱼的自动识别（Cookie设置、翻页与循环）
weixin_43825323的博客
08-18 8222
目录2-1-知识储备Cookie2-2-微博数据抓取（登陆Cookie设置）1-在八爪鱼页面打开微博的官网2-切换至“浏览模式”3-登录微博4-设置Cookie5-输入关键词6-自动识别网页，完成数据采集2-3-豆瓣图书数据抓取（翻页与循环）1-登陆八爪鱼，进入豆瓣的采集页面2-自动识别网页3-采集各个图书的链接4-循环打开各个网页采集相关信息5-点击采集开始对最终数据进行抓取2-4-采集流程逻辑1-八爪鱼的工作原理2-八爪鱼的流程逻辑案例1案例2案例32-5-思考参考资料 2-1-知识储备 Cookie
Python爬虫Chrome网页解析工具-XPath Helper插件
05-26
在Python爬虫开发中，XPath Helper是一款非常实用的Chrome浏览器插件，它为开发者提供了便捷的方式来解析和测试网页结构，特别是在处理XML或HTML文档时。XPath（XML Path Language）是一种在XML文档中查找信息的语言...
爬虫技术-Xpath解析数据.pptx
01-01
通过学习和掌握Xpath，我们可以高效地从网页中提取所需的数据。 首先，爬虫的基本流程包括：发起HTTP请求，向目标链接发送带有header和请求参数的Request；接收服务器响应，获取HTML内容；然后解析内容，提取有用...
爬虫笔记-解析库-Xpath
最新发布
06-03
基于崔庆才《python3网络爬虫开发实战》写的学习笔记和心得，其中包括内容和方法最总，包括代码，其中有些方法由于版本更迭做了修改。使用jupyter写的。
24期爬虫-03-xpath数据解析1-陈麟.py
10-31
24期爬虫-03-xpath数据解析1-陈麟.py
24期爬虫-03-xpath数据解析-邓苏杭-歌曲排名.py
10-30
24期爬虫-03-xpath数据解析-邓苏杭-歌曲排名.py
八爪鱼爬下一页无法点击，svg问题
JOJO_zzzz的博客
03-26 1013
本文采用软件为八爪鱼，数据采集网站为中国经济社会大数据研究平台。问题：在爬取当前页数据时，点击下一页没有出现循环点击下一页按钮，点击循环点击单个元素后，发现在任务流程中循环翻页选项并不能选中选中下一页符合。解决思路：首先对下一页符号进行XPath提取，将提取出来的复制进八爪鱼当中，完成可点击下一页方法，然后对每个流程进行Ajax设置。
xpath获取指定多标签内数字
Kwoky的博客
07-30 6964
from lxml import etree html = ''' <div class="p-name p-name-type-2"> <a target="_blank" title="希捷（seagate）Expansion 新睿翼2TB 黑钻版USB3.0 2.5英寸 移动硬盘 经典黑 (STEA2000400)" href="/...
Xpath实现-分页爬取彼岸图网
qq_47239143的博客
11-25 757
批量爬取彼岸图网照片
Xpath基础
代码改变世界
11-03 3275
https://www.bilibili.com/video/av19689660/?p=6  视频的链接 Xpath  是一门从html中提取数据的语言： Xpath的语法：   1.   '/'是选择节点（标签）：' /html/head/meta'  :表示的是能够选中html 下的head下的所有的meta 标签  2.  ‘//’:能够从任意节点开始选择         ‘//li...
XPath说明 XPath数据类型和运算符号
zzcv_的专栏
09-21 4368
 XPath XPath是一种XML路径表达式,用于在XSL等技术中确定XML文档的节点位置。  表达式确定了一颗使用URL路径符号的XML文档节点树,并且可以使用谓词和函数筛选节点。  XPath节点有元素节点和属性,元素节点名称由XML名称空间前缀和本地字串组成,名称空间可以为null。还有一种特殊的元素节点—根节点,XPath只允许一个根节点作为树的根。处理、声明、定义等节点()在XPa
在万维网爬虫中进行翻页爬取的三种常用方案
qq_55303268的博客
05-20 4110
首先先定义scrapy中的请求方法，然后创建列表对象，再遍历列表对象，用scrapy中的Request方法(形参url为实参url)对遍历后的临时变量发起请求，yield返回Response对象，所以start_requests方法的返回值是Response，主要代码如下。，在这个URL中，limit参数表示每个页面展示的书籍数量，而offset表示此资源目录里是从第几本书开始展示，所以第二页的URL是offset=10，而不是offset=2，那么也就不能简单粗暴的用上一个案例的方法进行请求了。
八爪鱼RPA、八爪鱼采集器中xpath定位点击数字进行下一页循环（无下一页按钮）
caiqiuli0430的博客
01-24 1002
八爪鱼RPA、八爪鱼采集器中xpath定位点击数字进行下一页循环（无下一页按钮）
Xpath教程详解，让你的数据采集效率提高20倍
网页爬虫与数据采集 · 八爪鱼
05-20 5238
为什么要写XPath这个话题？ 最近发现在用户用八爪鱼采集数据过程中遇到的问题，有80%以上的数据爬取遗漏、不准确的问题，都是因为： 「XPath地址不准确」导致。 比如： A：“我设计好的规则，怎么采集下来很多空白的数据？” B：“我采集下来的数据，怎么有那么多不必要的字段？导致我后续清洗数据的工作量非常大。” C：“为何我采集的数据是错的？” 等等…… 这些问题都源自采集数据过程中，数据**...
网络爬虫xpath实战案例
qq_51723187的博客
07-14 629
使用网络爬虫爬取视频，使用了线程池实现异步爬取，使用xpath提取数据，真实的下载地址提取
python-selenium -- xpath定位方法详解
06-06
XPath是一种XML文档的定位方法，也可以用于HTML文档的定位，Selenium中也可以使用XPath来定位网页元素。下面是使用XPath定位元素的详细步骤： 1. 打开浏览器并访问网页： ```python from selenium import webdriver driver = webdriver.Chrome() driver.get("http://www.example.com") ``` 2. 使用XPath定位元素： ```python # 通过元素id定位 element = driver.find_element_by_xpath('//*[@id="element_id"]') # 通过元素name定位 element = driver.find_element_by_xpath('//*[@name="element_name"]') # 通过元素class定位 element = driver.find_element_by_xpath('//*[@class="element_class"]') # 通过元素标签名定位 element = driver.find_element_by_xpath('//tag_name') # 通过元素属性定位 element = driver.find_element_by_xpath('//*[@attribute_name="attribute_value"]') # 通过元素文本内容定位 element = driver.find_element_by_xpath('//*[text()="text_content"]') # 通过元素部分文本内容定位 element = driver.find_element_by_xpath('//*[contains(text(), "text_content")]') ``` 3. 对元素进行操作： ```python # 输入文本 element.send_keys("text_input") # 点击元素 element.click() # 获取元素文本 print(element.text) # 获取元素属性值 print(element.get_attribute("attribute_name")) ``` 注意事项： - XPath定位需要用到浏览器的开发者工具，在开发者工具中可以查看元素的XPath路径。 - XPath路径中的引号需要用不同类型的引号包裹，例如在单引号内使用双引号包裹。 - 如果XPath路径中包含斜杠（/），则需要使用双斜杠（//）或者使用单引号包裹整个XPath路径。 - 在XPath路径中没有找到元素时，会抛出NoSuchElementException异常。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值