外卖订单爬虫(美团,饿了么,百度外卖)

这个程序是用来抓取外卖平台(美团,饿了么,百度)的商户订单开发,并不是一个通用库,而是为这个 特定场景进行开发的。 适用场景:餐饮企业拥有多家外卖门店,订单量非常大,有对订单进行数据分析的需求。 主要功能:每天定时启动,抓取三大外卖平台的订单,转成成excel文件,发邮件给需要的人

如何使用

修改config目录下的production.json

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
{
   "log": {
     "level": "DEBUG"
   },
   "mail": {
     "from": "company@xxx.com", //邮件发送人
     "mailTo": "di.mu@xxx.com", //邮件接收人
     "host":"smtp.xxx.com",
     "port":25,
     "secure":false,
     "user":"company@xxx.com",  //程序使用的邮件
     "pass":"程序使用的邮件的密码"
   },
   "imgCode":{
     "key":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxx"   // https://www.juhe.cn/docs/api/id/60  识别验证码api的key
   },
   "account": [
     {
       "name": "美团xxx店",
       "username": "帐户名",
       "password": "账户密码",
       "type": "meituan"
     },
     {
       "name": "饿了么xxx店",
       "username": "帐户名",
       "password": "账户密码",
       "type": "eleme"
     },
     {
       "name": "百度xxx店",
       "username": "帐户名",
       "password": "账户密码",
       "type": "baidu"
     }
   ]
}

其中以下配置是程序中使用验证码识别的api服务, 美团,百度的商家后台都需要验证码登录 api服务使用的是聚合数据的验证码识别服务,你需要先 申请聚合数据的账号,得到key 填写到如下配置项中去。

1
2
3
"imgCode":{
     "key":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxx"   // https://www.juhe.cn/docs/api/id/60  识别验证码api的key
   },

邮件功能需要配置详细的smtp服务地址、发件人账号名、密码、端口、是否使用ssl

1
2
3
4
5
6
7
8
9
"mail": {
     "from": "company@xxx.com", //邮件发送人
     "mailTo": "di.mu@xxx.com", //邮件接收人
     "host":"smtp.xxx.com",
     "port":25,
     "secure":false,
     "user":"company@xxx.com",  //程序使用的邮件
     "pass":"程序使用的邮件的密码"
   },

GitHub地址:https://github.com/mudiyouyou/waimai-crawler

转:

http://www.cnblogs.com/annie00/p/6178185.html

以下是使用网络爬虫采集美团外卖店铺数据的步骤: 1. 导入所需的库和模块: ```python import requests from bs4 import BeautifulSoup ``` 2. 发送HTTP请求获取美团外卖的菜单页面: ```python url = "https://www.meituan.com/waimai/" response = requests.get(url) ``` 3. 解析HTML页面: ```python soup = BeautifulSoup(response.text, "html.parser") ``` 4. 获取店铺的链接: ```python shop_links = soup.find_all("a", class_="link") ``` 5. 遍历店铺链接并获取店铺数据: ```python for link in shop_links: shop_url = link["href"] shop_response = requests.get(shop_url) shop_soup = BeautifulSoup(shop_response.text, "html.parser") # 在这里提取店铺数据并进行处理 ``` 6. 在循环中提取店铺数据并进行处理,例如获取店铺名称、评分、地址等: ```python shop_name = shop_soup.find("h1", class_="name").text shop_rating = shop_soup.find("span", class_="rating").text shop_address = shop_soup.find("div", class_="address").text # 在这里可以将数据存储到本地文件或数据库中 ``` 7. 完整的代码示例: ```python import requests from bs4 import BeautifulSoup url = "https://www.meituan.com/waimai/" response = requests.get(url) soup = BeautifulSoup(response.text, "html.parser") shop_links = soup.find_all("a", class_="link") for link in shop_links: shop_url = link["href"] shop_response = requests.get(shop_url) shop_soup = BeautifulSoup(shop_response.text, "html.parser") shop_name = shop_soup.find("h1", class_="name").text shop_rating = shop_soup.find("span", class_="rating").text shop_address = shop_soup.find("div", class_="address").text # 在这里可以将数据存储到本地文件或数据库中 ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值