助力工业物联网，工业大数据项目介绍及环境构建【一、二】_工业大数据环境部署

+ 这个项目属于哪个行业？
+ 为什么要做这个项目？
+ 这个项目的目的是什么？

• 实施

  • 项目行业：工业大数据

  • 项目名称：加油站服务商数据运营管理平台

    • 中石化，中石油，中海油、壳牌，道达尔……

  • 整体需求

  基于加油站的设备安装、维修、巡检、改造等数据进行统计分析
  支撑加油站站点的设备维护需求以及售后服务的呼叫中心数据分析
  提高服务商服务加油站的服务质量
  保障零部件的仓储物流及供应链的需求
  实现服务商的所有成本运营核算
  
  

  • 具体需求

    • 运营分析：呼叫中心服务单数、设备工单数、参与服务工程师个数、零部件消耗与供应指标等
    • 设备分析：设备油量监控、设备运行状态监控、安装个数、巡检次数、维修次数、改造次数
    • 呼叫中心：呼叫次数、工单总数、派单总数、完工总数、核单次数
    • 员工分析：人员个数、接单次数、评价次数、出差次数
    • 报销统计分析、仓库物料管理分析、用户分析

  • 报表

• 小结

• 这个项目属于哪个行业？

  • 工业化大数据平台
  • 行业：加油站服务商运营数据分析平台
  • 为什么要做这个项目？
    • 基于所有设备的安装、维修、巡检、改造的工单数据，辅助公司的运营，提高服务质量，做合理的成本预算
  • 这个项目具体需求是什么？
    • 提高服务质量，做合理的成本预算
    • 需求一：对所有工单进行统计分析
      • 安装工单、维修工单、巡检工单、改造工单、回访分析
    • 需求二：付费分析、报销分析
      • 安装人工费用、安装维修材料费用、差旅交通费用

04：业务流程

• 目标：掌握加油站设备维护的主要业务流程
• 实施

+ step1：加油站服务商联系呼叫中心，**申请服务**：安装/巡检/维修/改造加油机
+ step2：呼叫中心联系对应服务站点，**分派工单**：联系站点主管，站点主管分配服务人员
+ step3：服务人员**确认工单**和加油站点信息
+ step4：服务人员在指定日期到达加油站，进行**设备检修**
+ step5：如果为安装或者巡检服务，安装或者巡检成功，则服务完成
+ step6：如果为维修或者改造服务，需要向服务站点**申请物料**，物料到达，实施结束，则**服务完成**
+ step7：服务完成，与加油站站点服务商确认服务结束，完成**订单核验**
+ step8：工程师**报销**过程中产生的费用
+ step9：呼叫中心会定期对该工单中的工程师的服务做**回访**

• 小结

  • 掌握加油站设备维护的主要业务流程
  • 工单分析、费用分析、物料分析、回访分析

05：技术选型

• 目标：掌握加油站服务商数据运营平台的技术选型

• 实施

  • 数据生成：业务数据库系统

    • Oracle：工单数据、物料数据、服务商数据、报销数据等

  • 数据采集

    • Sqoop：离线数据库采集

  • 数据存储

    • Hive【HDFS】：离线数据仓库【表】

  • 数据计算

    • SparkCore：类MR开发方式【写代码调用方法函数来处理：面向对象 + 面向函数】
      • 对非结构化数据进行代码处理
      • 场景：ETL
    • SparkSQL：类HiveSQL开发方式【面向表】
      • 对数据仓库中的结构化数据做处理分析
      • 场景：统计分析
      • 开发方式
        • DSL：使用函数【DSL函数 + RDD函数】
        • SQL：使用SQL语句对表的进行处理
      • 功能：离线计算 + 实时计算
    • 注意：SparkSQL可以解决所有场景的分布式计算，离线计算的选型不仅仅是SparkSQL
      • SparkSQL/Impala/Presto
    • 使用方式
      • Python/Jar：spark-submit
        • ETL
      • ThriftServer：SparkSQL用于接收SQL请求的服务端，类似于Hive的Hiveserver2
        • PyHive :Python连接SparkSQL的服务端，提交SQL语句
        • JDBC：Java连接SparkSQL的服务端，提交SQL语句