从零搭建BI大数据分析平台

前言
本项目主要目的是为熟悉大数据分析平台搭建的基本流程，理清设计思路。
一、整体架构
业务系统数据库MYSQL→数据预处理KETTLE→数据仓库MYSQL→BI可视化平台
二、数据准备

• 创建业务数据库db和数据仓库dw，并将业务数据表导入到业务数据库中。

• 用Kettle实现ETL，将业务数据库中的表的最新数据，每天同步一次到数据仓库的表中。
  先建立一个转换任务，用于数据清洗和更新表到数据仓库。
  

再用这个转换建立一个每日执行的作业。

三、MYSQL分析开发

• 每日订单总额/总笔数分析
• 每日独立用户数统计
• 每日每个国家订单总额/总笔数分析
• 每日不同商品订单个数统计
  
• 以上需求通过sql脚本组件实现并插入到作业任务中，执行作业后，所需要数据会被插入到对应的表中。
  四、可视化展示 - 建立好数据库连接，将所需表导入到帆软的准备文件夹中。
• 插入各种适合的组件，将数据拖拽至相应位置，排版布局形成最终数据看板。
  
  至此，整个流程结束，后续可以通过分享功能将数据看板发送至指定位置。