助力工业物联网，工业大数据之数仓事实层DWB层构建【十七】_大数据 dwb(1)

文章目录

• 数仓事实层DWB层构建
• • 01：项目回顾
    • 02：项目目标
    • 03：分层回顾
    • 04：DWB层的设计

数仓事实层DWB层构建

01：项目回顾

1. 项目中有哪些主题域？

   • 服务域：工单主题、安装主题
   • 客户域：客户事主题
   • 仓储域：物料主题
   • 运营域：工时主题
   • 市场域：工单主题

2. 项目中有哪些核心维度？

   • 时间维度
   • 地区维度
   • 油站维度
   • 服务站点维度
   • 组织机构维度
   • 物流维度
   • 仓库维度
   • ……

3. 行政地区维度中有哪些核心字段？

省份id	省份名称	城市id	城市名称		县区id		县区名称		乡镇id	乡镇名称

* 定期或者按照变化，全量同步到数据仓库中

4. 时间维度中有哪些核心字段？

年	季度		月		周		日		年的第几天	周的第几天	工作日		节假日		周日

* 每一年提前将下一年的时间维度信息生成，增量放入数据仓库中

5. 服务网点维度中有哪些核心字段？

服务网点id	编码	名称		省份   城市   县区    组织机构id  组织机构名称

6. 油站维度中有哪些核心字段？

油站id	油站编码	油站名称		省份	城市	县区	乡镇		客户id	客户名称	公司id	公司名称

7. 组织机构维度中有哪些核心字段？

工程师id	工程师名称		岗位id	岗位名称		部门id		部门名称

8. 集中问题

   • DG连接不上：YARN的进程故障，导致ThriftServer无法运行
     • Hadoop：NameNode、DataNode、ResourceManager、NodeManager
     • Hive：Metastore、Hiveserver2
     • Spark：ThriftServer
   • 异常：ProtocolBuffer 不匹配：dim_date
     • 数据文件与表的定义是不匹配的
     • step1：检查建表语法
     • step2：文件：上传时候文件是不对的
   • 语法 + 函数 + 数据关系
     • 语法 + 函数 ：计算
     • 数据关系：逻辑

02：项目目标

• 整体目标：构建数仓中的DWB：主题事务事实表

  • 核心的主题事实的构建：SQL实现 + 主题的指标

    • 原始事务事实数据【DWD】：订单数据

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

需要这份系统化资料的朋友，可以戳这里获取