本文记录了一名Java程序员初涉Python爬虫，爬取大众点评商户信息的经历。通过分析静态页获取城市信息，利用selenium爬取商户地址，但在翻页和反爬机制中遇到挑战，包括登录验证、滑动验证等问题。最终找到临时解决方案，但完整的自动化验证功能仍在开发中。
前言
笔者是一个写 java 的苦逼程序猿，因为室友妹子的工作需求，帮她爬取大众点评的商户信息，顺便也试试使用 python 爬虫和使用 java 爬虫有什么不同。
爬取过程
爬取城市信息
这一步最简单， 因为大众点评的城市信息写在静态页上的， 只需要进入大众点评的官网上， 点击左上角的城市，就可以看到这个页面：
打开网页调试器就可以看到每个城市的 url 地址， 爬取下来即可， 最后获得每个城市的 url 地址，为接下来爬取商户信息做准备
爬取商户地址
这里我只爬取学习培训下的商户信息， 所以直接城市的 url 地址加上 /ch75/p1 就可以直接进入到商户的列表，以成都为例 http://www.dianping.com/chengdu/ch75/p1 可以直接进入到成都的学习培训的商户列表，打开网页调试器， 爬取到每页的商户的 url 地址信息即可，得到每个商户的 url 地址
第二
最低0.47元/天 解锁文章
8656
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
