助力工业物联网，工业大数据之ST层的设计【二十五】，高并发系统基础篇

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

• • 04：ST层的设计
    • 05：服务域：工单主题分析
    • 06：服务域：工单主题实现

04：ST层的设计

• 目标：掌握ST层的设计

• 路径

  • step1：功能
  • step2：来源
  • step3：需求

• 实施

  • 功能：数据应用层，用于支撑对外所有主题的报表应用数据的结果

    • 对外提供整个公司所有运营的报表

  • 来源：对DWB层的主题事实数据关联DWS层的维度表进行最终聚合

    • DWS：维度表：时间、地区、油站、组织机构

    维度id	维度值
    
    

    • DWB：工单、呼叫中心、费用

    维度id	指标
    
    

  • 需求：按照一站制造的业务主题的划分需求，构建每个主题的ST层的数据

  维度id	维度值		聚合指标
  
  

• 小结

  • 掌握ST层的设计

05：服务域：工单主题分析

• 目标：掌握工单主题的需求分析

• 路径

  • step1：需求
  • step2：分析

• 实施

  • 需求：统计不同维度下的工单主题指标的结果

  字段名称	字段说明	来源
  owner_process	派工方式-自己处理数量	one_make_dwb.fact_call_service
  tran_process	派工方式-转派工数量	one_make_dwb.fact_call_service
  wokerorder_num	工单总数	one_make_dwb.fact_worker_order
  wokerorder_num_max	工单总数最大值	one_make_dwb.fact_worker_order
  wokerorder_num_min	工单总数最小值	one_make_dwb.fact_worker_order
  wokerorder_num_avg	工单总数平均值	one_make_dwb.fact_worker_order
  install_sumnum	派工类型-安装总数	one_make_dwb.fact_worker_order
  repair_sumnum	派工类型-维修总数	one_make_dwb.fact_worker_order
  remould_sumnum	派工类型-巡检总数	one_make_dwb.fact_worker_order
  inspection_sumnum	派工类型-改造总数	one_make_dwb.fact_worker_order
  alread_complete_sumnum	完工总数	one_make_dwb.fact_worker_order
  customer_classify_zsh	客户类型-中石化数量	one_make_dws.dim_oilstation
  customer_classify_jxs	客户类型-经销商数量	one_make_dws.dim_oilstation
  customer_classify_qtzx	客户类型-其他直销数量	one_make_dws.dim_oilstation
  customer_classify_zsy	客户类型-中石油数量	one_make_dws.dim_oilstation
  customer_classify_qtwlh	客户类型-其他往来户数量	one_make_dws.dim_oilstation
  customer_classify_zhjt	客户类型-中化集团数量	one_make_dws.dim_oilstation
  customer_classify_zhy	客户类型-中海油数量	one_make_dws.dim_oilstation
  customer_classify_gys	客户类型-供应商数量	one_make_dws.dim_oilstation
  customer_classify_onemake	客户类型-一站制造**数量	one_make_dws.dim_oilstation
  customer_classify_fwy	客户类型-服务员数量	one_make_dws.dim_oilstation
  customer_classify_zt	客户类型-中铁数量	one_make_dws.dim_oilstation
  customer_classify_hzgs	客户类型-合资公司数量	one_make_dws.dim_oilstation
  customer_classify_jg	客户类型-军供数量	one_make_dws.dim_oilstation
  customer_classify_zhhangy	客户类型-中航油数量	one_make_dws.dim_oilstation
  dws_day string	日期维度-按天	one_make_dws.dim_date
  dws_week string	日期维度-按周	one_make_dws.dim_date
  dws_month string	日期维度-按月	one_make_dws.dim_date
  oil_type string	油站类型	one_make_dws.dim_oilstation
  oil_province	油站所属省	one_make_dws.dim_oilstation
  oil_city string	油站所属市	one_make_dws.dim_oilstation
  oil_county string	油站所属区	one_make_dws.dim_oilstation
  customer_classify	客户类型	one_make_dws.dim_oilstation
  customer_province	客户所属省	one_make_dws.dim_oilstation

    - 呼叫中心主题事实
  

  • 分析

    • 指标

      • 工单自处理个数、工单转派工个数
      • 工单总数、最大值、最小值、平均值
      • 安装总数、维修总数、巡检总数、改造总数、完工总数
      • 中石化数量、经销商数量、其他直销数量、中石油数量、其他往来户数量、中化集团数量、中海油数量
      • 供应商数量、一站制造数量、服务工程师数量、中铁数量、合资公司数量、军供数量、中航油数量

    • 维度

      • 日期维度：天、周、月
      • 油站维度：类型、省份、城市、地区
      • 客户维度：类型、省份

    • 数据表

      • 事实表

        • fact_worker_order：工单事实表

        select
            wo_num, --工单数量
            callaccept_id,--来电受理单id
            oil_station_id, --油站id
            dt --日期
        from fact_worker_order;
        
        

        • fact_call_service：呼叫中心事实表

      select      
      id,--来电受理单id    
      process_way_name --处理方式  
      from fact_call_service;  
      
      

      

      • 维度表

        • dim_oilstation：油站维度表

        select
            id,--油站id
            company_name,--公司名称
            province_name,--省份名称
            city_name,--城市名称
            county_name,--区域名称
            customer_classify_name,--客户名称
            customer_province_name--客户省份
        from dim_oilstation;
        
        

        • dim_date：时间维度表

        select
        	date_id,--天
        	week_in_year_id,--周
        	year_month_id --月
        from dim_date;
        
        

        

        • 实现分析

      -- 工单事实表
      select
      sum(case when b.process_way_name = '自己处理' then 1 else 0
      end) as own,
      sum(case when b.process_way_name = '转派工' then 1 else 0
      end) as other,
      sum(a.wo_num), --工单数量
      max(a.wo_num),
      min(a.wo_num),
      avg(a.wo_num),
      sum(a.install_num),
      sum(a.repair_num),
      sum(a.remould_num),
      sum(a.inspection_num),
      sum(a.alread_complete_num),
      sum(case when c.customer_classify_name = '中石化' then 1
      else 0 end) as zsy_count,
      ……
      a.callaccept_id,--来电受理单id
      c.id, --油站id
      c.company_name,--公司名称
      c.province_name,--省份名称
      c.city_name,--城市名称
      c.county_name,--区域名称
      c.customer_classify_name,--客户名称
      c.customer_province_name ,--客户省份
      d.date_id,--天
      d.week_in_year_id,--周
      d.year_month_id --月
      from fact_worker_order a
      left join fact_call_service b on a.callaccept_id = b.id
      left join one_make_dws.dim_oilstation c on a.oil_station_id =
      c.id
      left join one_make_dws.dim_date d on a.dt = d.date_id
      group by
      c.id, --油站id
      c.company_name,--公司名称
      c.province_name,--省份名称
      
      
      

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-qP3cnd8E-1713380912401)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！