助力工业物联网，工业大数据之ODS层及DWD层建表语法【七】_ods层建表语句(1)

于 2024-05-11 13:23:37 发布
阅读量1k 收藏 27
点赞数 21
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84166327/article/details/138711729
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

			* 每个人都是一个Person类的对象
		- 商品
		
		 
		```
		class Product:
			# 属性
			id = 001
			price = 1000.00
			size = middle
			color = blue
			……
			
			# 方法
			def changePrice(self,newPrice):
				self.price = newPirce
		
		```
* **工具类**：专门用于封装一些工具方法的，utils，**代表某种操作的集合**


	+ 类的组成：一般只有方法
	
	 
	```
	class 类名:
		# 方法：函数
	
	```
	+ 字符串处理工具类：拼接、裁剪、反转、长度、转大写、转小写、替换、查找
	
	 
	```
	class StringUtils:
	    
		def concat(split,args\*):
			split.join(args)
	        
		def reverse(sourceString)
	    	return reverse(sourceString)
	    
		……
	
	```
	+ 日期处理工具类：计算、转换
	
	 
	```
	class TimeUitls:
			
		def computeTime(time1,time2):
			return time1-time2
			
		def transTimestamp(timestamp):
			return newDateyyyy-MM-dd HH:mm:ss)
			
		def tranfData(date)
			return timestamp
	
	```
* **常量类**：专门用于定义一些不会发生改变的变量的类


	+ 类的组成：一般只有属性
	
	 
	```
	class 类名:
		# 属性：不发生变化的属性
	
	```
	+ 定义一个常量类
	
	 
	```
	class Common:
		ODS_DB_NAME = "one_make_ods"
		……
	
	```
	
		- file1.py：创建数据库
		
		 
		```
		create database if not exists Common.ODS_DB_NAME;
		
		```
		
			* file2.py：创建表
			
			 
			```
			```
			create table if not exists Common.ODS_DB_NAME.tbname
			```
			
			```
			
				+ file3.py：插入数据到表中
				
				 
				```
				insert into table  Common.ODS_DB_NAME.tbname
				
				```
				+ 问题1：容易写错
				+ 问题2：不好修改

02：课程目标

  • 目标：自动化的ODS层与DWD层构建
  • 实现
    • 掌握Hive以及Spark中建表的语法规则
    • 实现项目开发环境的构建
    • 自己要实现所有代码注释
    • ODS层与DWD层整体运行测试成功

03：数仓分层回顾

  • 目标：回顾一站制造项目分层设计
  • 实施

image-20210821102418366

+ ODS层 ：原始数据层


	- 来自于Oracle中数据的采集
	- 数据存储格式：AVRO
	- ODS区分全量和增量
	- 实现
	
	
		* 数据已经采集完成
		
		 
		```
		/data/dw/ods/one_make/full_imp
		/data/dw/ods/one_make/incr_imp
		
		```
		* step1：创建ODS层数据库：one\_make\_ods
		* step2：根据表在HDFS上的数据目录来创建分区表
		* step3：申明分区
+ DWD层


	- 来自于ODS层数据
	- 数据存储格式：ORC
	- 不区分全量和增量的
	- 实现
		* step1：创建DWD层数据库：one\_make\_dwd
		* step2：创建DWD层的每一张表
		* step3：从ODS层抽取每一张表的数据写入DWD层对应的表中

  • 小结

    • 回顾一站制造项目分层设计

04：Hive建表语法

  • 目标：掌握Hive建表语法
  • 实施
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
(
    col1Name col1Type [COMMENT col_comment],
    co21Name col2Type [COMMENT col_comment],
    co31Name col3Type [COMMENT col_comment],
    co41Name col4Type [COMMENT col_comment],
    co51Name col5Type [COMMENT col_comment],
    ……
    coN1Name colNType [COMMENT col_comment]

)
[PARTITIONED BY (col_name data_type ...)]
[CLUSTERED BY (col_name...) [SORTED BY (col_name ...)] INTO N BUCKETS]
[ROW FORMAT row_format]
	row format delimited fields terminated by 
	lines terminated by
[STORED AS file_format]
[LOCATION hdfs_path]
TBLPROPERTIES


+ EXTERNAL：外部表类型（删除表的时候，不会删除hdfs中数据）
	- 内部表、外部表、临时表
+ PARTITIONED BY：分区表结构
	- 普通表、分区表、分桶表
+ CLUSTERED BY：分桶表结构
+ ROW FORMAT：指定分隔符
	- 列的分隔符：\001
	- 行的分隔符：\n
+ STORED AS：指定文件存储类型
	- ODS：avro
	- DWD：orc
+ LOCATION：指定表对应的HDFS上的地址
	- 默认：/user/hive/warehouse/dbdir/tbdir
+ TBLPROPERTIES：指定一些表的额外的一些特殊配置属性

  • 小结

    • 掌握Hive建表语法

05：Avro建表语法

  • 目标：掌握Hive中Avro建表方式及语法

  • 路径

    • step1：指定文件类型
    • step2：指定Schema
    • step3：建表方式

  • 实施

    • Hive官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTable

    • DataBrics官网：https://docs.databricks.com/spark/2.x/spark-sql/language-manual/create-table.html

    • Avro用法：https://cwiki.apache.org/confluence/display/Hive/AvroSerDe

    • 指定文件类型

      • 方式一：指定类型
      stored as avro
      • 方式二：指定解析类
      --解析表的文件的时候，用哪个类来解析
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
--读取这张表的数据用哪个类来读取
STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
--写入这张表的数据用哪个类来写入
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'

    • 指定Schema

      • 方式一：手动定义Schema
      CREATE TABLE embedded
COMMENT "这是表的注释"
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
TBLPROPERTIES (
  'avro.schema.literal'='{
 "namespace": "com.howdy",
 "name": "some\_schema",
 "type": "record",
 "fields": [ { "name":"string1","type":"string"}]
 }'
);
      • 方式二：加载Schema文件
      CREATE TABLE embedded
COMMENT "这是表的注释"
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
STORED as INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
TBLPROPERTIES (
 'avro.schema.url'='file:///path/to/the/schema/embedded.avsc'
);

    • 建表语法

      • 方式一：指定类型和加载Schema文件
      create external table one_make_ods_test.ciss_base_areas
comment '行政地理区域表'
PARTITIONED BY (dt string)
stored as avro
location '/data/dw/ods/one\_make/full\_imp/ciss4.ciss\_base\_areas'
TBLPROPERTIES ('avro.schema.url'='/data/dw/ods/one\_make/avsc/CISS4\_CISS\_BASE\_AREAS.avsc');
      • 方式二：指定解析类和加载Schema文件
      create external table one_make_ods_test.ciss_base_areas
comment '行政地理区域表'
PARTITIONED BY (dt string)
ROW FORMAT SERDE

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

外链图片转存中…(img-oCKcS7yb-1715404985523)]
[外链图片转存中…(img-VuiShG3x-1715404985523)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84166327
关注
  • 21
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
剑指数据仓库-项目篇(三) - 数据建模的三种模型&&ods层到dwd层介绍
SparkOnYarn的博客
04-11 4798
一、上次课回顾 二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、数仓分层-星型模型 2.3、数仓分层-雪花模型 2.4、数仓分层-星座模型 三、ERP项目架构 3.1、数仓分层流程图 一、上次课回顾 https://blog.csdn.net/SparkOnYarn/article/details/105430370 主要讲了ERP的一些模块（基础信息维护、采购、销售、零售流程维...
ODS+DWD层详细介绍
m0_66177444的博客
04-28 1115
DWD（Data WareHouse Detail）数据明细层，主要是将从业务数据库中同步过来的ODS层数据进行清洗和整合成相应的事实表。去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。（3）创建分区表，防止后续的全表扫描，减少集群资源访问数仓的压力，一般按天存储在数仓中。数据脱敏：对身份证，手机号等敏感信息脱敏，加*，使用spark 脱敏。
创建dwd层表
Werkple的博客
09-19 399
DROP TABLE IF EXISTS DWD_APL_GLB_DTL; CREATE EXTERNAL TABLE DWD_APL_GLB_DTL ( gid string ,eventid String ,ts bigint ,event Map < String,String > ,uid String ,phoneNbr String ,sessionId String ,imei String ,mac String ,imsi String ,osName String ,osVe
实时数仓（一）行为数据ods到dwd层
qq_44665283的博客
03-23 1839
行为数据ods到dwd层 采集的日志数据已经保存到 Kafka 中，作为日志数据的 ODS 层，从 Kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中，作为日志 DWD 层。 (1) 识别新老用户工具类 本身客户端业务有新老用户的标识，但是不够准确，需要用实时计算再次确认。 package com.yyds.utils; import org.ap
企业级大数据项目【2】数仓-流量域ODS-DWD开发篇
涛哥大数据小屋
01-21 3322
1数仓整体说明 什么数仓：一个面向分析的，反映历史变化的数据仓库； 数仓的技术手段： 1)传统数仓一般都是采用关系型数据库软件； 2)大数据领域中则尚无一站式解决方案，通常需要用到很多技术组件来实现不同环节： 使用HDFS做存储 使用 spark、mapreduce 作为底层计算引擎 使用hive或者sparksql，作为sql引擎 另外，还有impala/presto纯内存运算引擎，kylin，clickhouse 等各类组件 1.1技术选型 数据采集：flume 存储平台：hdfs 基础设施：hiv
助力工业物联网，工业大数据之ODS层及DWD层建表语法【七】_ods层建表语句
2401_84164527的博客
05-04 607
语法面向对象：将所有事物以对象的形式进行编程，万物皆对象：专门用于构造对象的，一般称为Bean，业务：实现人购买商品：专门用于封装一些工具方法的，utils，：专门用于定义一些不会发生改变的变量的类。
助力工业物联网，工业大数据之数仓事实层DWB层构建【十七】_大数据 dwb
最新发布
2401_84165953的博客
05-04 743
集中问题。
Hive+Spark离线数仓工业项目--ODS层及DWD层构建（1）
技术专家
12-26 1223
Hive+Spark离线数仓工业项目--ODS层及DWD层构建
Hive的dwd层建表语句及加载数据
qq_56870570的博客
09-16 1797
数仓-DWD层 1）对用户行为数据解析。 2）对业务数据采用维度模型重新建模。 订单明细事实表（事务型事实表） 建表语句： DROP TABLE IF EXISTS dwd_order_detail; CREATE EXTERNAL TABLE dwd_order_detail ( `id` STRING COMMENT '订单编号', `order_id` STRING COMMENT '订单号', `user_id` STRING COMMENT '用户id',
ods层数据到dwd层的处理需求说明
m0_59887059的博客
03-28 1827
目录 1 清洗过滤 2 数据解析 3 SESSION分割 1 清洗过滤 去除json数据中的废弃字段，因为前端开发人员更新了埋点设计方案之后，可能有些没有用的字段也会保留 json格式不正确的 过滤掉缺少关键字段的记录(deviceId、properties、eventId、sessionId缺任何一个都不行)sessionid是一个会话的key，浏览器第一次访问服务器会在服务器端生成一个session，有一个sessionid和它对应。tomcat生成的sessionid叫做jses
hive在数仓ODS层到DWD层建模方法
LastYHM的博客
10-22 5151
数仓建模的原因: 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。二者的主要区别对比如下表所示。 创建数仓主要完成OLAP的业务需求,将原始数据导入到ODS层之后,就需要将原
（38）DWD层事实表创建
song_quan_的博客
07-13 759
1.支付事实表（事务型事实表） 1）建表语句 hive (gmall)> drop table if exists dwd_fact_payment_info; create external table dwd_fact_payment_info ( `id` string COMMENT 'id', `out_trade_no` string COMMENT '对外业务编号', `order_id` string COMMENT '订单编号', `user_id.
数仓建模，什么是宽表？如何设计？好处与不足
lz_N_one的博客
07-27 6752
数仓建模，什么是宽表？如何设计？好处与不足，如何运用宽表
离线数仓——（DWD层订单表，DWD层订单产品表，DWS层订单明细表，DWS层订单明细宽表，ADS层订单分析表）
qq_43408367的博客
02-25 663
订单从创建到最终完成，是有时间限制的；业务上也不允许订单在一个月之后，状态仍然在发生变化；2. 如果没有数据清洗、数据转换的业务需求，保留在ODS，不做任何变化【没有业务处理了】订单的状态不可能永远处于变化之中（订单的生命周期一般在15天左右）为保留订单状态，可以使用拉链表进行处理；分区的条件：订单创建日期；订单产品表普通的事实表，用常规的方法进行处理；DWD要处理的表有两张：订单表、订单产品表。分区的目的：订单一旦终止，不会重复计算。与维表不同，订单事实表的记录数非常多。订单是一个拉链表，而且是分区表。
计算dwd层全局明细表
Werkple的博客
09-19 195
INSERT INTO TABLE DWD_APL_GLB_DTL PARTITION(dt=‘2019-10-29’) SELECT CASE WHEN uid is not null and trim(uid)!=’’ THEN uid WHEN imei is not null and trim(imei)!=’’ THEN imei WHEN mac is not null and trim(mac)!=’’ THEN mac WHEN imsi is not null and trim
关于数仓的DWD层的讲解和拉链表讲解以及进行JOIN优化
weixin_50479099的博客
06-07 3727
在数仓的构建DWD层的时候有些数据需要去转化成拉链表来经行处理所以在今天我会着重讲解拉链表的使用以及在DWB JOIN表的时候进行的优化防止数据倾斜
数仓开发之DWD层（一）
JiaXingNashishua的博客
11-11 2381
（1）DWD层的设计依据是维度建模理论，该层存储维度模型的事实表。（2）DWD层表名的命名规范为dwd_数据域_表名。
离线数仓（八）【DWD 层开发】
功不唐捐，玉汝于成
03-27 1539
DWD层开发
助力工业物联网，工业大数据之ODS层及DWD层建表语法【七】
Maynor的博客
04-13 958
一站制造项目的数仓设计为几层以及每一层的功能是什么？一站制造项目的数据来源是什么，核心的数据表有哪些？一站制造项目中在数据采集时遇到了什么问题，以及如何解决这个问题？什么是Avro格式，有什么特点？如何实现对多张表自动采集到HDFS？需求效果：将所有增量和全量表的数据采集到HDFS上全量表路径：维度表：数据量、很少发生变化增量表路径：事实表：数据量不断新增，整体相对较大Schema文件的存储目录Shell：业务简单，Linux命令支持Python：业务复杂，是否Python开发接口语法定义类。
hive数据从ods层表到dwd 层表的操作
06-10
2. 创建DWD层表：接下来需要在Hive中创建DWD层表，并使用INSERT INTO SELECT语句从ODS层表中选择数据插入到DWD层表中。可以使用以下命令创建DWD层表： ``` CREATE TABLE dwd_table ( column1 datatype1, column...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值