python爬取饿了么外卖商家数据_用python抓取饿了么无证店铺

一、前言

饿了么平台上很多店铺都无营业执照，只能借用他人的营业执照上传开店。那就想看看附近有多少这样无证共用营业执照的店铺。

先看一下抓取的截图，竟然有这么多店没有营业执照。

mongodb3.png

在饿了么上显示的地址都是营业执照的地址，有时候当你点餐会看到送餐员取餐的地址不是营业执照标注的地址。

通常这种店铺都是无营业执照的，因为店铺老板都可以在后台自行设置取餐地址，所以用户在点餐时候看到不一定是真实地址，在下单后才能具体取餐地址。

还有一种店铺是自行配送的，下单后根本就看不到取餐地址，这种店铺更可怕，根本就不知道是哪个黑作坊加工的食品。

二、运行环境

python3

pymongo

requests

三、分析

首先访问饿了么主页，输入想搜寻的区域，页面随即返回附近区域店铺。

address.png

打开浏览器开发者工具，分析需要抓取的数据，接着用requests抓取该页面地址，使用BeautifulSoup解析数据，竟然返回空值数据。

再次查看页面信息，向下滚动页面，发现XHR异步加载类型中有返回JSON格式数据。如下图所示：

F12.png

后台用json格式传递数据，前台浏览器用javascript展示json格式的方法，是目前比较通用的做法。后台提供的json格式的api接口可以供网页、手机