项目开发流程
整体项目的开发流程是:
- 业务数据生成,在 MySQL 数据库中生成当天的数据
- ETL 数据导入,通过 Sqoop 对 MySQL 当天日期的数据进行抽取,并存放到 HDFS 中
- 在 Hive 中创建 ODS 层,编写脚本,完成 HDFS 数据接入
- 在 Hive 中创建 DWD 层,编写脚本,完成 ODS 层数据导入
- 在 Hive 中创建 DWS 层,编写脚本,导入 DWD 层数据
- 在 Hive 中创建 ADS 层,完成复购率计算
- 编写脚本,将 ADS 层的数据导出到 MySQL 中,供业务查询
- 使用 Azkaban 调度器,实现脚本自动化运行
业务数据生成
1. 在 Node02 上,执行以下命令,在 MySQL 中创建数据库 Mall:
export MYSQL_PWD=DBa2020*
mysql -uroot -e "create database mall;"
2. 上传数据生成 SQL 脚本到 MySQL 安装节点,即 Node02 的 /root 目录下:
- 链接:https://pan.baidu.com/s/1AX8fBKesvjxWh9HBw0dr-g
- 提取码:kke8