八爪鱼爬下一页无法点击,svg问题


前言

本文采用软件为八爪鱼,数据采集网站为中国经济社会大数据研究平台。

  • 问题:在爬取当前页数据时,点击下一页没有出现循环点击下一页按钮,点击循环点击单个元素后,发现在任务流程中循环翻页选项并不能选中选中下一页符合。
  • 解决思路:首先对下一页符号进行XPath提取,将提取出来的复制进八爪鱼当中,完成可点击下一页方法,然后对每个流程进行Ajax设置。
  • XPathsvgAjax
    在这里插入图片描述在这里插入图片描述

一、八爪鱼 XPath 设置

前期准备

  • 给chrome浏览器安装XPath插件
    参考 “Xpath Helper(xpath辅助插件)”
    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
    本文链接:https://blog.csdn.net/qq_54528857/article/details/122202572
    ————————————————
    版权声明:本文为CSDN博主「陈同学q」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/qq_54528857/article/details/122202572
    添加链接描述

在八爪鱼中插入XPath方法(参考B站八爪鱼教程——数字翻页教程 添加链接描述

1. svg 问题

复制下一页箭头的XPath后,粘贴到XPath-helper,发现无法定位到下一页箭头。
有可能是 svg标签问题
在这里插入图片描述在这里插入图片描述

更改写法,用//*[name()='svg']
采用//div[@class='valueSearch_pagination__jCQyC']//*[name()='svg'][@class="btn btn-default valueSearch_next-btn__2EUxs valueSearch_page-btn__2aBOh"][@aria-hidden="true"]

参考 “svg标签元素的XPATH定位”
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/joker_zsl/article/details/106898102
————————————————
版权声明:本文为CSDN博主「joker_zsl」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/joker_zsl/article/details/106898102添加链接描述


在这里插入图片描述
将写好的XPath复制进八爪鱼,此时可以看见下一页箭头可以被选中,点击翻页,可以正常翻页。

二、八爪鱼Ajax

八爪鱼Ajax 用法及意思

参考 “ajax网页没有办法采集,Ajax网页采集方法(最新) - 八爪鱼采集器” 添加链接描述

主要目的是为解决,浏览网页翻页后网址并不跳转问题,可采用Ajax进行识别
在这里插入图片描述
在上文基础上,在点击翻页高级设置,将Ajax勾选上,超时时间根据网页自行设定。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值