![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据仓库
文章平均质量分 76
Gklearlove
数据小开发
展开
-
二、数据仓库笔记之数仓分层
2、数据仓库分层2-1、分层的简单介绍一般大数据数据仓库的分层结构如图所示:其中,ODS层是近源层,一般是同步业务端数据,数据不进行更改(但是可以扩充字段,比如更新时间、来源等);CDM层是用来进行数据清洗、数据分析以及建模;ADS层存储的是清洗好的数据,对外提供数据服务,狭义上也称为数据集市层。CDM层又分为数据明细层DWD和数据汇总层DWS层:DWD层存储的是各种经过维度退化进行简单汇总的零散明细表,也就是各个模块的明细表,满足三范式。DWS层存储的是各个明细表join一起得到的大宽表(原创 2021-08-21 16:51:50 · 3702 阅读 · 2 评论 -
Hive创建表的过程详细过程
Hive创建表的过程详细过程Demo第一个demoCREATE TABLE db.testTable( id string COMMENT 'id' ,name string COMMENT '姓名' ,age bigint COMMENT '年龄' )COMMENT '测试表'ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\001'SOTRED AS PARQUET;这个创建表的涉及的参数主要有:ROW FORMAT原创 2021-07-28 17:13:22 · 1166 阅读 · 0 评论 -
Hive自定义函数使用步骤(简略版)
Hive自定义函数使用步骤在Java中创建相应的函数,UDF、UDTF、UDAF等,并打包上传到集群在Hive中将jar包导入:add jar /opt/module/hive/hivefunction-1.0-SNAPSHOT.jar;在Hive中创建临时函数或永久函数并与想要使用的自定义函数进行连接起来create temporary function base_analizer as 'com.atguigu.udf.BaseFieldUDF';create tempora原创 2020-07-22 21:31:42 · 580 阅读 · 0 评论