Python — 爬取饿了么外卖店信息

在学数据可视化，缺少点数据进行实操，就想着从饿了么上面爬点外卖店信息。

主要是获取数据，所以代码比较简陋，直接上代码：

import requests
import json
import csv

def crawler_ele(page=0):
	
	def get_page(page):
		url = 'https://h5.ele.me/restapi/shopping/v3/restaurants?latitude=xxxx&longitude=xxxx&offset={page}&limit=8&terminal=h5'.format(page=page*8)

		headers = {
	  	  "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36",
	   	 'cookie': r'xxxx'
		}
		re = json.loads(requests.get(url,headers=headers).text)
		return re

	re = get_page(page)

	if re.get('items'):
		
		with open('data.csv','a',newline='') as f:
			writer = csv.DictWriter(f,fieldnames=['名称', '月销售量','配送费', '起送价', '风味','评分', '配送时长', '评分统计', '距离', '地址'])
			writer.writeheader()
			for item in re.get('items'):
				info = dict()
				restaurant = item.get('restaurant')
				info['地址'] = restaurant.get('address')
				info['配送费'] = restaurant.get('float_delivery_fee')
				info['名称'] = restaurant.get('name')
				info['配送时长'] = restaurant.get('order_lead_time')
				info['距离'] = restaurant.get('distance')
				info['起送价'] = restaurant.get('float_minimum_order_amount')
				info['评分'] = restaurant.get('rating')
				info['月销售量'] = restaurant.get('recent_order_num')
				info['评分统计'] = restaurant.get('rating_count')
				info['风味'] = restaurant.get('flavors')[0].get('name')
				writer.writerow(info) 
			# print(info)
	if re.get('has_next') == True:
		
		crawler_page(page+1)


crawler_ele(0)

在这里简单注释几句：

• url 中的经纬度去掉了，可以自行查询添加需要爬取地点的经纬度，也可以通过调用地图api获取经纬度；
• headers 需要加 Cookies ，不然会有登录权限限制爬取页数；
• 最后调用的是递归不是循环，所以保存结果的 csv 文件里面会有多个重复表头，可以用 Excel 打开删除重复值就可以了。

ps:开得最多卖的最好的还是快餐店。。。