Hive+Spark离线数仓工业项目--ODS层及DWD层构建（1）

目标：自动化的ODS层与DWD层构建
实现
  - 掌握Hive以及Spark中建表的语法规则
  - 实现项目开发环境的构建
  - 自己要实现所有代码注释
  - ODS层与DWD层整体运行测试成功

数仓分层回顾

目标：回顾一站制造项目分层设计

实施

 ODS层 ：原始数据层

    - 来自于Oracle中数据的采集

    - 数据存储格式：AVRO

    - ODS区分全量和增量

    - 实现

      - 数据已经采集完成

      - step1：创建ODS层数据库：one_make_ods

      - step2：根据表在HDFS上的数据目录来创建分区表

      - step3：申明分区

  DWD层

    - 来自于ODS层数据
    - 数据存储格式：ORC
    - 不区分全量和增量的
    - 实现
      - step1：创建DWD层数据库：one_make_dwd
      - step2：创建DWD层的每一张表
      - step3：从ODS层抽取每一张表的数据写入DWD层对应的表中

Hive建表语法

目标：掌握Hive建表语法

实施