第一章 数仓概念
数仓定义(Data Warehouse)
为企业所有决策制定过程,提供所有系统数据支持的战略合辑
说白了,公司所有的数据都可以汇聚到数据仓库里
公司的数据来源
- 日志采集系统
- 业务系统数据库
- 爬虫系统等
所有业务部门的数据都可以放入数仓,数据库就无法完成这样的功能
数仓的好处
可帮助企业改进业务流程,控制成本,提高产品质量
数仓能做什么
清洗,转义,分类,重组,合并,拆分,统计等
数仓输出到哪里
报表系统 → 用户画像 → 推荐系统 → 机器学习 → 风控系统
第二章 项目需求及架构设计
项目需求分析
整个项目要做五件事儿
1. 采集埋点日志数据
日志行为数据与业务数据如何区分?
答:没有日志行为数据,网站可以正常工作,没有业务数据网站不能正常工作。比如,不去记录用户来到网站的
行为,用户依然可以完成购买。但是没有价格等业务数据,用户无法支付,网站就无法工作。
一般来说,日志数据是以文件形式存储的,业务数据是存储在Mysql数据库中的。
2. 采集业务数据库中的数据
3. 数仓的搭建(用户行为数仓、业务数仓)
4. 分析统计业务指标
5. 对结果进行可视化展示
项目框架
阿里云产品 | 简介 | 类比 |
---|---|---|
DataHub | 数据总线 | Kafka + 各种服务接口 |
MaxCompute | 大数据计算框架 | Hadoop + Hive + 调度器 |
DataWorks | 可视化MaxCompute的开发管理平台 | 目前没 |