一.数据仓库分层
ODS(Operation Data Store)层:原始数据层,存放加载原始日志、数据,数据保持原貌不做处理。
DWD(Data warehouse detail)层:对ODS层数据进行清洗(去除空值,超过极限范围的数据)、维度退化、脱敏等。
DWS(data warehouse service)层:以DWD为基础,按天进行轻度汇总。
DWT(data warehouse Topic)层:以DWS为基础,按主题进行汇总。
ADS(Application Data Store)层:为各种统计报表提供数据。
单纯从技术角度数据采集,入库,合并,清晰。对数据进行计算然后提供给业务使用,对于开发人员就是读数据,写数据,对数据处理。
从数据处理角度分为离线数据处理和实时数据处理,hadoop hive 用于离线数据处理,spark stream,flink用于实时计算。
常见的数据源于redis ,es, 关系型数据库,habase, 当然hadoop 也算一个数据库, clickhouse ,hido, tidb 等等