加粗样式@TOC
数据仓库分层
1.ods层
原始数据层,存放原始数据,直接加载原始日志,数据,数据保持原貌不做处理。
扩展:
1.让数据仓库和业务系统隔离,如果我们统计数据直接使用mysql,复杂sql例如多表join,
所带来的磁盘和网络io有可能会影响线上业务系统。
2.一个公司有很多的业务系统
2.dwd层
对ods层数据进行清晰(去除空值,脏数据,超过极限范围的数据)
3.dws层
以dwd为基础,进行轻度的汇总
加粗样式@TOC
原始数据层,存放原始数据,直接加载原始日志,数据,数据保持原貌不做处理。
扩展:
1.让数据仓库和业务系统隔离,如果我们统计数据直接使用mysql,复杂sql例如多表join,
所带来的磁盘和网络io有可能会影响线上业务系统。
2.一个公司有很多的业务系统
对ods层数据进行清晰(去除空值,脏数据,超过极限范围的数据)
以dwd为基础,进行轻度的汇总