分享企业级HIVE数仓规范文档----对管理数仓很有帮助

最新推荐文章于 2023-01-30 09:30:10 发布

cuichunchi

最新推荐文章于 2023-01-30 09:30:10 发布

阅读量343

点赞数

分类专栏： Hive 大数据

本文链接：https://blog.csdn.net/cuichunchi/article/details/109559163

版权

本文档旨在规范HIVE数仓的开发，包括DATABASE规划、HDFS目录规划、数据模型设计、任务调度组织和HIVE开发规范，以提高开发效率、程序可读性和数据安全性。适用范围覆盖大数据中心所有相关人员。通过对HIVE对象命名、表别名、代码设置和HSQL编写等进行标准化，确保数仓的高效稳定运行。

摘要由CSDN通过智能技术生成

一、前言

为了保证大数据平台整体可控性，实现脉络清晰的管理，提高开发效率和程序的可读性，降低程序编写过程的出错率和重复劳动性，保持程序编写风格的一致性和连贯性，特定此规范。

目前HIVE开发脚本比较混乱，没有统一的管理，针对现有的规范，结合具体现状，需要进行整体规划，确保大数据平台的顶层设计和整体规范。

本规范适用于苏宁大数据中心项目相关的开发人员以及运行管理人员，从事Hadoop/Hive开发的相关技术人必须按照此规范规定执行。

Hive的database规划主要体现大数据的架构，Hive中的database类似oracle中的user,db2中的schema的概念。

Hive作为大数据平台的数据仓库，对每个database规划如下：

SSA存储格式采用TEXTFILE，以便于源系统数据快速入HDFS；采用内部表管理，主要是为了方便清理数据，表或者表分区数据文件随着表删除和分区删除同步删除，以免数据文件遗留造成空间严重浪费。
对外开发的表统一采用外部表管理，主要是保障数据文件安全，注意创建外部表时，需要指定文件存放目录。

关注

专栏目录