python 爬虫餐饮行业 数据分析_Python爬取美团美食板块商家数据

导语

利用Python简单爬取美团美食板块商家数据。。。

其实一开始我是想把美团的所有商家信息爬下来的，这样就可以美其名曰百万数据了。。。

然而相信很多爬过美团的朋友都发现了。。。

如果不进行一些小操作。。。

爬不了几页代码就GG了。。。

后来想想我要这么多数据也没什么用。。。

唯一对我有用的。。。

大概就是美食板块了。。。

以后用到其他板块的时候再另外爬就好了。。。

OK，Let's go!

主要思路

目的：

根据输入的城市名，爬取该城市美团美食板块所有商家的数据。数据包括：

店名、评分、评论数量、均价、地址，

并将这些数据存入Excel中。

最后尝试对爬取到的数据做一个简单的分析。

克服反爬虫：

爬取每页数据后，随机停止一段时间后再爬下一页；

每页使用不同的cookie值。

具体原理：

没用抓包软件。。。

Chrome打开后看了下xhr。。。

发现直接有接口可以用。。。

给个cookie就能返回所需的数据了。。。

后来随便点了几个其他板块的网页。。。

发现也差不多是这个套路。。。

详细的实现过程见源代码。

开发工具

Python版本：3.5.4

相关模块：

requests模块；

win_unicode_console模块；

openpyxl模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。