CC00047.pbpositions——|Hadoop&PB级数仓.V05|——|PB数仓.v05|核心交易分析|ODS层建表|数据加载|

yanqi_vip

已于 2022-04-12 17:59:46 修改

阅读量92

点赞数

分类专栏： bigdatav014——PB离线数仓文章标签： python hive hadoop json java

于 2022-04-10 14:50:00 首次发布

不予转载

本文链接：https://blog.csdn.net/yanqi_vip/article/details/124090075

版权

本文主要介绍了在Hadoop环境下，针对PB级数仓的ODS（Operational Data Store）层的建表策略与数据加载过程。详细讲述了如何进行ODS层的建表设计，并提供了数据加载的执行脚本，涵盖了使用Python、Hive、Java等技术的实践操作。

摘要由CSDN通过智能技术生成

一、ODS层建表与数据加载

### --- ODS建表：

~~~     ODS层的表结构与源数据基本类似(列名及数据类型)；
~~~     ODS层的表名遵循统一的规范；
~~~     所有的表都是分区表；字段之间的分隔符为, ；为表的数据数据文件指定了位置；

二、ODS层建表与数据加载

### --- ODS层建表：订单表

DROP TABLE IF EXISTS `ods.ods_trade_orders`;

CREATE EXTERNAL TABLE `ods.ods_trade_orders`(
`orderid` int,
`orderno` string,
`userid` bigint,
`status` tinyint,
`productmoney` decimal(10, 0),
`totalmoney` decimal(10, 0),
`paymethod` tinyint,
`ispay` tinyint,
`areaid` int,
`tradesrc` tinyint,
`tradetype` int,
`isrefund` tinyint,
`dataflag` tinyint,
`createtime` string,
`paytime` string,
`modifiedtime` string)
COMMENT '订单表'
PARTITIONED BY (`dt` string)
row format delimited fields terminated by ','
location '/user/data/trade.db/orders/';

### --- ODS层建表：订单明细表

DROP TABLE IF EXISTS `ods.ods_trade_order_product`;

CREATE EXTERNAL TABLE `ods.ods_trade_order_product`(
`id` string,
`orderid` decimal(10