前言
本项目主要目的是为熟悉大数据分析平台搭建的基本流程,理清设计思路。
一、整体架构
业务系统数据库MYSQL→数据预处理KETTLE→数据仓库MYSQL→BI可视化平台
二、数据准备
- 创建业务数据库db和数据仓库dw,并将业务数据表导入到业务数据库中。
- 用Kettle实现ETL,将业务数据库中的表的最新数据,每天同步一次到数据仓库的表中。
先建立一个转换任务,用于数据清洗和更新表到数据仓库。
再用这个转换建立一个每日执行的作业。
三、MYSQL分析开发
- 每日订单总额/总笔数分析
- 每日独立用户数统计
- 每日每个国家订单总额/总笔数分析
- 每日不同商品订单个数统计
- 以上需求通过sql脚本组件实现并插入到作业任务中,执行作业后,所需要数据会被插入到对应的表中。
四、可视化展示 - 建立好数据库连接,将所需表导入到帆软的准备文件夹中。
- 插入各种适合的组件,将数据拖拽至相应位置,排版布局形成最终数据看板。
至此,整个流程结束,后续可以通过分享功能将数据看板发送至指定位置。