外卖爬虫项目安装和配置指南

郑蓓愉

于 2024-09-13 22:07:50 发布

阅读量219

点赞数

本文链接：https://blog.csdn.net/gitblog_07395/article/details/142228282

版权

外卖爬虫项目安装和配置指南

waimai-crawler 外卖爬虫，定时自动抓取三大外卖平台上商家订单，平台目前包括：美团，饿了么，百度外卖项目地址: https://gitcode.com/gh_mirrors/wa/waimai-crawler

1. 项目基础介绍和主要编程语言

项目基础介绍

外卖爬虫项目（Waimai Crawler）是由开发者mudiyouyou在GitHub上开源的一个强大且灵活的餐饮数据爬虫工具。该项目能够帮助用户自动化地抓取三大外卖平台（美团、饿了么、百度外卖）上的商家订单信息，并将这些信息转换成Excel文件并通过邮件发送给指定人员。该项目主要用于餐饮企业拥有多家外卖门店，订单量非常大，有对订单进行数据分析的需求。

主要编程语言

该项目主要使用JavaScript作为编程语言，结合Node.js环境进行开发和运行。

2. 项目使用的关键技术和框架

关键技术

Node.js: 作为项目的基础运行环境，提供JavaScript的运行时。
Puppeteer: 一个Node库，提供高级API来控制Chrome或Chromium，用于模拟浏览器操作进行数据抓取。
ExcelJS: 一个用于生成和操作Excel文件的Node.js库。
Nodemailer: 一个用于发送电子邮件的Node.js模块。

框架

Express: 一个简洁而灵活的Node.js Web应用程序框架，用于构建Web应用程序和API。

3. 项目安装和配置的准备工作和详细安装步骤

准备工作

安装Node.js: 确保你的系统上已经安装了Node.js。你可以从Node.js官网下载并安装最新版本的Node.js。
安装Git: 用于克隆项目代码。你可以从Git官网下载并安装Git。
文本编辑器: 推荐使用VSCode、Sublime Text或Atom等文本编辑器进行代码编辑。

详细安装步骤

步骤1：克隆项目代码

首先，打开终端或命令提示符，导航到你希望存放项目的目录，然后运行以下命令克隆项目代码：

git clone https://github.com/mudiyouyou/waimai-crawler.git

步骤2：安装依赖

进入项目目录并安装项目依赖：

cd waimai-crawler
npm install

步骤3：配置项目

在项目根目录下找到config文件夹，打开production.json文件进行配置。以下是配置文件的示例：

{
  "log": {
    "level": "DEBUG"
  },
  "mail": {
    "from": "company@xxx.com", // 邮件发送人
    "mailTo": "di.mu@xxx.com", // 邮件接收人
    "host": "smtp.xxx.com",
    "port": 25,
    "secure": false,
    "user": "company@xxx.com", // 程序使用的邮件
    "pass": "程序使用的邮件的密码"
  },
  "imgCode": {
    "key": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxx" // 识别验证码api的key
  },
  "account": [
    {
      "name": "美团xxx店",
      "username": "帐户名",
      "password": "账户密码",
      "type": "meituan"
    },
    {
      "name": "饿了么xxx店",
      "username": "帐户名",
      "password": "账户密码",
      "type": "eleme"
    },
    {
      "name": "百度xxx店",
      "username": "帐户名",
      "password": "账户密码",
      "type": "baidu"
    }
  ]
}