黑马Hive+Spark离线数仓工业项目--数仓事实层DWB层构建(2)

20 篇文章 2 订阅
20 篇文章 1 订阅

工单事实指标构建

目标:实现DWB层工单事实指标表的构建

实施

  建表

 抽取


    

安装事实指标需求分析

目标:掌握DWB层安装事实指标表的需求分析

路径

  - step1:目标需求
  - step2:数据来源

实施

  目标需求:基于设备安装信息统计安装设备个数、收费安装个数、审核安装个数等指标

    - 全新安装数量:install_type = 1
    - 联调安装数量:install_way = 2
    - 产生维修数量:is_repair = 1
    - 额外收费数量:is_pay = 1
    - 安装设备数量:与服务单关联,统计设备的id个数
    - 安装费用:通过工单id从报销单信息中关联得到报销金额
    - 审核完成工单个数:

数据来源

ciss_service_install:安装单信息表


 
  ciss_service_workorder**:工单详情事实表
    

ciss_service_order**:服务单信息表
    

安装事实指标构建

目标:实现DWB层安装事实指标表的构建

实施

建表

抽取

维修事实指标需求分析

目标:掌握DWB层维修事实指标表的构建需求分析

路径

  - step1:目标需求
  - step2:数据来源

实施

目标需求:基于维修信息数据统计维修设备个数、维修、更换、升级配件数量、工时费用、配件费用等指标

数据来源

维修事实指标构建

目标:实现DWB层维修事实指标表的构建

实施

建表

抽取

   

客户回访事实指标需求分析

目标:掌握DWB层客户回访事实指标表的需求分析

路径

  - step1:目标需求
  - step2:数据来源

实施

  目标需求:基于客户回访数据统计工单满意数量、不满意数量、返修数量等指标

数据来源

    - **ciss_service_return_visit**:回访信息表

      - 1:满意
      - 0:不满意

    - **ciss_service_workorder**:服务工单信息表

客户回访事实指标

目标:实现DWB层客户回访事实指标表的构建

实施

建表

抽取

   

 

费用事实指标分析及实现

目标:实现DWB层费用报销事实指标表的构建

路径

  - step1:目标需求
  - step2:数据来源
  - step3:目标实现

实施

目标需求:基于费用报销数据统计费用报销金额等指标

数据来源

目标实现

建表

抽取 

差旅事实指标分析及实现

目标:实现DWB层差旅报销事实指标表的构建

路径

  - step1:目标需求
  - step2:数据来源
  - step3:目标实现

实施

目标需求:基于差率报销信息统计交通费用、住宿费用、油费金额等报销费用指标

数据来源

   

 

目标实现

建表

  
    
抽取
    
 
 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: flume+spark+hive+spark sql离线分析系统是一种基于大数据技术的离线数据分析系统。其中,flume用于数据采集和传输,spark用于数据处理和计算,hive用于数据存储和管理,spark sql用于数据查询和分析。通过这个系统,可以实现对大量数据的高效处理和分析,为企业决策提供有力的支持。 ### 回答2: flume spark hive spark sql离线分析系统是一种数据处理系统。该系统可以用于处理大量的数据,生成相应的报告和分析。博客文章有详细讨论。 flume是一个分布式日志采集系统,它可以将数据从不同的地方采集并传输到所需的位置。它可以采集不同的日志数据,包括web日志、服务器日志、应用程序日志等。flume是一个可扩展的系统,可以用于处理大量的数据。 spark是一个强大的分布式计算引擎,它允许用户在大规模的数据集上进行高性能计算。spark可以快速地处理大量的数据,并支持多种编程语言,例如Java、Python和Scala等。spark还提供了可视化编程工具,例如RDD(弹性分布式数据集)来支持数据处理和分析等任务。 hive是一个基于Hadoop的数据仓库系统,它可以将结构化的数据存储在Hadoop的HDFS文件系统中。hive提供了类SQL的查询语言,例如HQL,并支持复杂查询和数据分析任务。hive还提供了很多插件,使用户可以轻松地将数据导入和导出到不同的数据源中。 spark sql是spark的一部分,它提供了SQL查询和数据分析功能。spark sql的灵活性和可扩展性使其非常适合处理大数据量的数据,包括结构化数据和半结构化数据。 综上所述,flume spark hive spark sql离线分析系统是一个可以用于处理大量的数据的系统,它由flume、sparkhive以及spark sql等组成部分。该系统可以帮助用户轻松地采集、存储、分析和报告大量的数据,有着非常广泛的应用。 ### 回答3: Flume、SparkHiveSpark SQL四个工具都是用于离线分析系统的。 Flume是由Apache基金会开发的开源数据采集系统,用于收集、聚合和移动大量数据。Flume可以实现数据的采集、压缩、持久化和转发,从而实现数据流水线。Flume可以将数据从不同来源收集到不同的目标,支持多种数据源,包括文件、HTTP、数据库等。Flume可以使数据收集更加高效和可靠。 Spark是一种快速、通用的计算引擎,用于大规模数据处理。Spark支持分布式计算,可以在数百台计算机上并行运行。Spark是用Java、Scala或Python编写的,可以处理数据,并提供先进的机器学习和图形处理功能。Spark具有内存计算和多种处理任务的灵活性,可以用于各种大规模数据处理的场景中。 Hive是面向Hadoop的数据仓库软件,提供了一个类似SQL的查询语言,用于查询和分析大规模数据。Hive将数据以表格的形式组织和存储,并通过SQL语言进行查询和分析。Hive可以用于各种数据仓库的管理,包括文件、HDFS、HBase等。 Spark SQL是在Spark引擎之上构建的结构化数据处理系统,提供了一种基于SQL的编程接口。Spark SQL可以将结构化数据与RDD集成在一起,可以使用Spark的内存计算引擎和流式处理引擎进行大规模的数据分析。Spark SQL可以在SQL查询中使用自己的数据格式,从而实现高效的数据处理和分析。 综上所述,Flume、SparkHiveSpark SQL这四个工具是离线分析系统中的重要组成部分,可以实现数据采集、数据处理和数据分析。在大数据分析的过程中,这些工具为数据科学家提供了丰富的选项,从而可以更好地处理数据,加快分析速度并获得更深入的见解。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值