助力工业物联网，工业大数据之数仓事实层DWB层构建【十七】_大数据 dwb(2)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

+ [03：分层回顾](#03_105)
+ [04：DWB层的设计](#04DWB_123)

数仓事实层DWB层构建

01：项目回顾

1. 项目中有哪些主题域？

   • 服务域：工单主题、安装主题
   • 客户域：客户事主题
   • 仓储域：物料主题
   • 运营域：工时主题
   • 市场域：工单主题

2. 项目中有哪些核心维度？

   • 时间维度
   • 地区维度
   • 油站维度
   • 服务站点维度
   • 组织机构维度
   • 物流维度
   • 仓库维度
   • ……

3. 行政地区维度中有哪些核心字段？

省份id	省份名称	城市id	城市名称		县区id		县区名称		乡镇id	乡镇名称

* 定期或者按照变化，全量同步到数据仓库中

4. 时间维度中有哪些核心字段？

年	季度		月		周		日		年的第几天	周的第几天	工作日		节假日		周日

* 每一年提前将下一年的时间维度信息生成，增量放入数据仓库中

5. 服务网点维度中有哪些核心字段？

服务网点id	编码	名称		省份   城市   县区    组织机构id  组织机构名称

6. 油站维度中有哪些核心字段？

油站id	油站编码	油站名称		省份	城市	县区	乡镇		客户id	客户名称	公司id	公司名称

7. 组织机构维度中有哪些核心字段？

工程师id	工程师名称		岗位id	岗位名称		部门id		部门名称

8. 集中问题

   • DG连接不上：YARN的进程故障，导致ThriftServer无法运行
     • Hadoop：NameNode、DataNode、ResourceManager、NodeManager
     • Hive：Metastore、Hiveserver2
     • Spark：ThriftServer
   • 异常：ProtocolBuffer 不匹配：dim_date
     • 数据文件与表的定义是不匹配的
     • step1：检查建表语法
     • step2：文件：上传时候文件是不对的
   • 语法 + 函数 + 数据关系
     • 语法 + 函数 ：计算
     • 数据关系：逻辑

02：项目目标

• 整体目标：构建数仓中的DWB：主题事务事实表

  • 核心的主题事实的构建：SQL实现 + 主题的指标

    • 原始事务事实数据【DWD】：订单数据

    o001		userid1		2021-01-01	200.00
    
    

    • 主题事务事实数据【DWB】：订单主题

    o001		userid1		2021-01-01	订单总金额:200		订单总个数:1
    
    
    
    

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

et/topics/618545628)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！