爬取大众点评数据经验

最新推荐文章于 2025-03-19 17:36:55 发布

wjd_giser

最新推荐文章于 2025-03-19 17:36:55 发布

阅读量7.7k

点赞数 7

分类专栏：爬虫文章标签： python 爬虫大众点评解密

本文链接：https://blog.csdn.net/weixin_41862952/article/details/97272674

版权

本文详细介绍了如何爬取大众点评北京市所有粤菜馆的店面信息，包括URL分析、隐藏爬虫身份、解密加密数据以及通过API获取经纬度等步骤，同时还解决了IP被封和解密汉字编码的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

URL分析

我以获取北京市所有粤菜馆的店面、人均价格、地址、经纬度为目标，说明爬取过程及解决问题的方法。北京市粤菜馆的url为http://www.dianping.com/beijing/ch10/g103，看到仅显示50页内容，判断可能做了限制，因此采取分区域采集的方式，逐个行政区域进行采集，如朝阳区url：http://www.dianping.com/beijing/ch10/g103r14，加了一个行政区编码r14；经查看，各行政区粤菜馆的条目均在50页以内，因此分区域采集的思路可行，加入页码信息，url类似：http://www.dianping.com/beijing/ch10/g103r14p3，即在表示行政区的编码后加p及页码编号。