爬取饿了么的商家+评论数据

本文介绍了如何抓取饿了么首页的商家信息,包括商铺名、评分等级和配送信息。面对动态页面,通过开发者工具观察JS或XHR请求,找到目标URL,并分析JSON数据结构,利用get方法提取所需内容。同样方法也可应用于获取商家评论信息。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

该地附近的商家信息如图所示:
在这里插入图片描述

现在我要抓取首页的所有商家信息(商铺名、评分等级、配送信息等),如果提示要查看更多商家,请登录。为了测试,我们就可以人为登陆。现在,当我的鼠标滚轮不断向下滑动时,发现商家信息不断增加,但网址没有发生变化,这就是动态页面。按F12,打开开发者工具选项,F5刷新,鼠标不断向下滚动,我们发现控制台的网址在不断增加。一般地,动态页面的网址出现在JS或者XHR选项工具栏,不断滑动滚轮,找到我们所需内容所在的网址,如图所示:
在这里插入图片描述

现在我们找到了目标URL,在开发者选项工具中,切换到Headers,就可以直观地看到目标URL,如图所示:
在这里插入图片描述

打开此URL就可以找到我们所需的信息,注意这是json格式的数据。进一步,我们找到网址变化的规律,只需改变offset参数即可。

评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值