八爪鱼爬取列表数据和详情页数据(国内网址)

1.一般来说想爬取详情页的数据都会先把列表数据(带上详情页的链接)先爬爬出来再专门爬取详情页的数据。
2.爬取详列表数据步骤:
1.打开网页在这里插入图片描述
2.循环翻页(注意:八爪鱼免费版一次只能爬取1w条数据,所以需要设置循环执行次数,避免超过1w条数据)
在这里插入图片描述
3.循环采集列表数据,也就是一页有多少数据
在这里插入图片描述
4.提取数据(关键点):对xpath不熟可以下载火狐的两个插件,可以很方便的获取指定数据的xpath
下载火狐插件需下载5.5之前的版本 下完之后把自动更新去掉 然后导入debug 和xpath两个插件,重启火狐浏览器即可。
然后 添加所需字段,把指定数据的xpath写入,相对路径和绝对路径都要写
在这里插入图片描述
然后点击抓取方式,为文本,即可获取指定数据
在这里插入图片描述

注意:有时候会从指定的页开始采集,如果url有规则自然可以,如果没有规律的话那就需要在八爪鱼里面配置了
打开网页,数据文字(指定到多少页),点击元素(跳转到多少页),然后循环点击下一页采集数据,循环翻页的时候要计算不能超过1w条数据即可

在这里插入图片描述

3.爬取详情页的数据:
列表爬完后会得到详情页的url,那么这个时候就需要把url输入到循环的网址列表中,八爪鱼就会循环这和网址列表里面的网址来获取数据。
在这里插入图片描述
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值