Hive的ods层建表语句及加载数据

最新推荐文章于 2024-08-28 04:18:40 发布

大数据翻身

最新推荐文章于 2024-08-28 04:18:40 发布

阅读量3.3k

点赞数

文章标签： hive big data

本文链接：https://blog.csdn.net/qq_56870570/article/details/120325263

版权

本文详细介绍了大数据仓库ODS（Operational Data Store）层的构建，包括数据保持原貌、LZO压缩减少存储空间、分区表提高查询效率、以及外部表的使用。同时，给出了用户表、商品表、购物车表、订单表、支付表、省份表和地区表的Hive创建脚本，并展示了每日数据装载的shell脚本，实现自动化数据加载到ODS层。

摘要由CSDN通过智能技术生成

数仓-ODS层：

1）保持数据原貌不做任何修改，起到备份数据的作用。

2）数据采用LZO压缩，减少磁盘存储空间。100G数据可以压缩到10G以内。

3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。

4）创建外部表。在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景都是创建外部表。

案例：

创建用户表：

DROP TABLE IF EXISTS ods_user_info;
CREATE EXTERNAL TABLE ods_user_info(
    `id` STRING COMMENT '用户id',
    `login_name` STRING COMMENT '用户名称',
    `nick_name` STRING COMMENT '用户昵称',
    `name` STRING COMMENT '用户姓名',
    `phone_num` STRING COMMENT '手机号码',
    `email` STRING COMMENT '邮箱',
    `user_level` STRING COMMENT '用户等级',
    `birthday` STRING COMMENT '生日',
    `gender` STRING COMMENT '性别',
    `create_time` STRING COMMENT '创建时间',
    `operate_time` STRING COMMENT '操作时间'
) COMMENT '用户表'
PARTITIONED BY (`dt` STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '/warehouse/gmall/ods/ods_user_info/';

加载数据：

load data inpath '/origin_data/gmall/db/user_info/$do_date' OVERWRITE into table ${APP}.ods_user_info partition(dt='$do_date');

创建商品（SKU）表：

DROP TABLE IF EXISTS ods_sku_info;
CREATE EXTERNAL TABLE ods_sku_info(
    `id` STRING COMMENT 'skuId',
    `spu_id` STRING COMMENT 'spuid',
    `price` DECIMAL(16,2) COMMENT '价格',