Hive数据分层(ODS,DW,ADS)

Hive中的数据分层

前言

这篇文章简单介绍一下hive的数据分层

理论上分为三层:ODS数据运营层,DW数据仓库层,ADS数据服务层,

数据运营层(ODS):原始数据
  ODS:Operation Data Store 数据准备区,也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份,这称为ODS层,是后续数据仓库加工数据的来源。
  ODS层数据的来源方式:
    1.业务库 : 经常会使用sqoop来抽取,例如每天定时抽取一次。实时方面,可以考虑用canal监听mysql的binlog,实时接入即可。
    2.埋点日志 : 日志一般以文件的形式保存,可以选择用flume定时同步可以用spark streaming或者Flink来实时接入
    3.kafka也OK消息队列:即来自ActiveMQ、Kafka的数据等.
数据仓库层(DW):数据清洗
  1. DWD:data warehouse details 细节数据层,是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。
数据清洗:去除空值、脏数据、超过极限范围的
   2. DWB:data warehouse base 数据基础层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。
   3. DWS:data warehouse service 数据服务层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据层,一般是宽表。用于提供后续的业务查询,OLAP分析,数据分发等。
用户行为,轻度聚合
数据服务层/应用层(ADS):出报表:
  ADS:applicationData Service应用数据服务,该层主要是提供数据产品和数据分析使用的数据,一般会存储在ES、mysql等系统中供线上系统使用。

Hive数据ODS层表到DWD层表的操作一般需要经过以下步骤: 1. 创建ODS层表:首先需要在Hive中创建ODS层表,并使用外部表的方式将ODS数据导入到Hive中。可以使用以下命令创建外部表: ``` CREATE EXTERNAL TABLE ods_table ( column1 datatype1, column2 datatype2, ... ) COMMENT 'ODS层表' ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' WITH SERDEPROPERTIES ( 'separatorChar' = ',', 'quoteChar' = '"' ) STORED AS TEXTFILE LOCATION 'hdfs://path/to/ods_table'; ``` 2. 创建DWD层表:接下来需要在Hive中创建DWD层表,并使用INSERT INTO SELECT语句从ODS层表中选择数据插入到DWD层表中。可以使用以下命令创建DWD层表: ``` CREATE TABLE dwd_table ( column1 datatype1, column2 datatype2, ... ) COMMENT 'DWD层表' PARTITIONED BY (dt string) STORED AS ORC; ``` 注意,这里创建的DWD层表需要进行分区,以便后续的数据查询和分析。 3. 插入数据:接下来使用INSERT INTO SELECT语句将ODS层表中的数据插入到DWD层表中,可以按照日期进行分区,例如: ``` INSERT INTO TABLE dwd_table PARTITION (dt='20220101') SELECT column1, column2, ... FROM ods_table WHERE dt='20220101'; ``` 注意,这里需要根据需要选择需要导入的日期,以确保数据的准确性和完整性。 4. 数据查询和分析:最后,可以使用Hive SQL语句对DWD层表进行查询和分析,以获取所需的数据。 以上就是Hive数据ODS层表到DWD层表的操作流程,其中每一步都需要仔细处理,以确保数据的准确性和完整性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值