大众点评的采集在2023年之前还是比较好采集的,很多接口不需要登录,即使登录一个帐号也可以采集很多,所以大约2023年8月以前的大众点评店铺字段非常丰富,几乎所有常见店铺字段都能采集。
2023年8月以后,大量接口权限变化,都需要登录采集,并且一个帐号只能采集不到一千家店铺,这时候还有一些不用登录的接口,可以采集一些基础信息。
2024年7月以后,许是受到了抖音本地生活服务平台的打击,大众进一步加深反扒,不需要登录的接口基本消失殆尽,店铺详情手动查看百余家店铺后都会无法使用。
至此,批量采集大众点评已经很难了。目前很多所谓2024年的大众点评采集数据,其实是基于2023年以前的店铺,复用以前店铺的字段信息,然后采集了部分新增店铺,仅此而已。
所以现在还要批量持续更新店铺信息,很难做到全国级别,也只能基于历史数据然后采集新增店铺,但新增店铺的采集也只能采集近三个月的,如果没有大量的用户需求来维持采集,历史店铺与最近三个月的新店中间出现了断档后,就很难维系庞大的店铺库。这条路径目前我已经放弃,最新的店铺库是2024年6月采集,如有需要的分类及区域,可以在9月前保持住更新。
所以针对现在难以批量采集的情况,转而探索通过搜索获取大众点评店铺基础信息并扩展采集的方案。
使用场景1:可以定期每周、每月、每季度查询新开店铺的信息,从而获得新开店数据。
使用场景2:可以针对跟踪连锁品牌,通过搜索海底捞、蜜雪冰城、瑞幸咖啡等情况,获得这些连锁店铺的开店情况、分布情况、均价变动情况、评价数变动(人气情况)
使用场景3:针对某些关键词,采集所有店铺数据
通过搜索可以获得的字段是店铺id、店铺名、店铺分类、所在街道、团购套餐名字、人均价格、评价数量。
示例数据
店铺id:E6xATmRhE6k15MSP
店铺全名:中国兰州拉面(苏宁环球柳洲东路店)
评分区间(非精准评分):3.5
大类:美食
中类:面馆
小类:面馆
人均价格元:16
评价数:13
团购套餐数:0
省:江苏
市:南京
区:浦口区
街道商圈:天润城/天悦城
营业状态:默认正常
来源关键词:兰州拉面
如果还需要这些搜索出来的店铺的扩展信息,可以通过其他接口再次扩展,可以采集到店铺的经纬度、营业时间、提供服务、特色菜、地铁距离、总评分及子评分、所在榜单情况
示例数据1:
店铺id1:E6xATmRhE6k15MSP
店铺id2:805692407
店铺名:中国兰州拉面(苏宁环球柳洲东路店)
总评分:3.9
榜单情况:
城市:南京
纬度:32.144371
经度:118.724219
评价数:13
人均价格元:16
类型:面馆
街道商圈:天润城/天悦城
子评分:口味:3.9 环境:3.9 服务:3.9
地铁距离:距地铁S8泰山新村站1号口步行1.2km
营业时间:营业至24:00
排队系统:
提供服务:
推荐菜:土豆牛肉盖浇饭,茶叶蛋,番茄鸡蛋盖浇饭,蛋炒饭,茄子牛肉炒饭,红烧牛肉,土豆丝鸡蛋炒饭,兰州炒饭,蒜苔牛肉盖浇饭,茄子牛肉盖浇面,平菇牛肉盖浇面,酸辣白菜盖浇饭,青椒土豆丝盖浇饭,葱爆牛肉盖浇饭,红烧鸡块盖浇饭,大盘鸡拌饭,土豆牛肉盖浇面,番茄鸡蛋炒刀削面,番茄鸡蛋炒拉面,葱爆牛肉盖浇面
示例数据2:
店铺id1:G8XHVTHtA5Pvx9dN
店铺id2:1397560363
店铺全名:泽上造型·专业烫染接发私人订制(蜀都万达店)
总评分:5
榜单:郫都区美发好评榜 · 第1名
区域:郫都区
纬度:30.805732
经度:103.909208
评价数:1077
人均价格:-
分类:美发
商圈:蜀都万达
子评分:效果:5.0 环境:5.0 服务:5.0
地铁距离:距凉水井街与步行街交叉口60m
营业时间:休息中,10:00营业
如果对这个榜单感兴趣,也可以另外采集这个榜单的全部排名店铺信息。
其他如电话、详细地址的没有的,地址可以考虑复用之前采集过店铺的地址。
同时,还可以考虑高德poi来替代大众点评店铺,二者相辅相成,高德的字段相对更多。有名字、地址、联系方式、评分、经纬度、类型、营业时间。
高德示例数据:
店名 昨天·今天·明天
省 上海市
市 上海市
区 长宁区
地址 华山路1038弄曹家堰路173号
电话 021-62402588
评分 4.7
人均消费 96
经纬度 121.436241,31.211985
id B00151F190
类型 体育休闲服务;娱乐场所;酒吧
商圈 湖南路
标签1
标签2 清吧
标签3 清吧
营业时间1 17:30-02:00
楼层(默认1)
在局限性和数据完整性方面,高德受限于自身风控大概缺失5%数据,大众点评的搜索返回上限是750条,如果城市结果大于750,会拆解为区县,这样每个区县上限750,城市的上限就可以扩大,同理还可以扩展到街道商圈,但是有的店铺只属于城市或区县,拆解到街道级就会无法采集这些,同时最小区域也超过750的也无法采集,所以大众点评搜索方式只能采集每个城市几千家以内的,更多量级的更适用高德poi搜索,不追求最新实时采集的也可以采用2024年6月的大众点评数据库。