网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
+ 掌握一站制造的项目的业务流程和数据来源
14:项目总结:主题划分
-
目标:掌握一站制造的项目的主题划分
-
实施
- 服务域
- 安装主题:安装方式、支付费用、安装类型
- 工单主题:派工方式、工单总数、派工类型、完工总数、
- 维修主题:支付费用、零部件费用、故障类型
- 派单主题:派单数、派单平均值、派单响应时间
- 费用主题:差旅费、安装费、报销人员统计
- 回访主题:回访人员数、回访工单状态
- 油站主题:油站总数量、油站新增数量
- 客户域
- 客户主题:安装数量、维修数量、巡检数量、回访数量
- 仓储域
- 保内良品核销主题:核销数量、配件金额
- 保内不良品核销主题:核销配件数、核销配件金额
- 送修主题:送修申请、送修物料数量、送修类型
- 调拨主题:调拨状态、调拨数量、调拨设备类型
- 消耗品核销:核销总数、核销设备类型
- 服务商域
- 工单主题:派工方式、工单总数、工单类型、客户类型
- 服务商油站主题:油站数量、油站新增数量
- 运营域
- 运营主题:服务人员工时、维修站分析、平均工单、网点分布
- 市场域
- 市场主题:工单统计、完工明细、订单统计
- 服务域
-
小结
- 掌握一站制造的项目的主题划分
15:项目总结:技术架构
-
目标:掌握一站制造的项目的技术架构
-
实施
-
数据生成:业务数据库系统
- Oracle:工单数据、物料数据、服务商数据、报销数据等
-
数据采集
- Sqoop:离线数据库采集
- Sqoop怎么采集Oracle数据
- Sqoop:离线数据库采集
-
数据存储
- Hive【HDFS】:离线数据仓库【表】
-
数据计算
- SparkSQL:类HiveSQL开发方式:对数据仓库中的结构化数据做处理分析
- Python | Java :SparkSQLDSL开发:使用spark-submit来提交运行
- SparkSQL SQL + ThriftServer:提交SQL开发
- SparkSQL:类HiveSQL开发方式:对数据仓库中的结构化数据做处理分析
-
数据应用
- MySQL:结果存储
- FineBI / Tableau:可视化工具
-
监控工具
- Prometheus:服务器性能指标监控工具
- Grafana:监控可视化工具
-
调度工具
- AirFlow:任务流调度工具
-
技术架构
-
-
小结
- 掌握一站制造的项目的技术架构
16:项目总结:数仓设计
-
目标:掌握一站制造的项目的分层设计与建模设计
-
路径
- step1:分层设计
- step2:建模设计
-
实施
- 分层设计
- **ODS**:原始数据层:最接近于原始数据的层次,直接采集写入层次:**原始事务事实表** * 数据内容:存储所有原始业务数据,基本与Oracle数据库中的业务数据保持一致 * 数据来源:使用Sqoop从Oracle中同步采集 * 存储设计:Hive分区表,avro文件格式存储,保留3个月 - **DWD**:明细数据层:对ODS层的数据根据业务需求实现ETL以后的结果:ETL以后事务事实表 * 数据内容:存储所有业务数据的明细数据 * 数据来源:对ODS层的数据进行ETL扁平化处理得到 * 存储设计:Hive分区表,orc文件格式存储,保留所有数据 - **DWB**:基础数据层:类似于以前讲解的DWM,轻度聚合 * 关联:将主题事实的表进行关联,所有与这个主题相关的字段合并到一张表 * 聚合:基于主题的事务事实构建基础指标 * **主题事务事实表** * 数据内容:存储所有事实与维度的基本关联、基本事实指标等数据 * 数据来源:对DWD层的数据进行清洗过滤、轻度聚合以后的数据 * 存储设计:Hive分区表,orc文件格式存储,保留所有数据 - **ST**:数据应用层:类似于以前讲解的APP,存储每个主题基于维度分析聚合的结果:**周期快照事实表** * 供数据分析的报表 * 数据内容:存储所有报表分析的事实数据 * 数据来源:基于DWB和DWS层,通过对不同维度的统计聚合得到所有报表事实的指标 - **DM**:数据集市:按照不同部门的数据需求,将暂时没有实际主题需求的数据存储 * 做部门数据归档,方便以后新的业务需求的迭代开发 * 数据内容:存储不同部门所需要的不同主题的数据 * 数据来源:对DW层的数据进行聚合统计按照不同部门划分 - **DWS**:维度数据层:类似于以前讲解的DIM:存储**维度数据表** * 数据内容:存储所有业务的维度数据:日期、地区、油站、呼叫中心、仓库等维度表 * 数据来源:对DWD的明细数据中抽取维度数据 * 存储设计:Hive普通表,orc文件 + Snappy压缩 * 特点:数量小、很少发生变化、全量采集 - 数据仓库设计方案 * 从上到下:在线教育:先明确需求和主题,然后基于主题的需求采集数据,处理数据 + 场景:数据应用比较少,需求比较简单 * **从下到上**:一站制造:将整个公司所有数据统一化在数据仓库中存储准备,根据以后的需求,动态直接获取数据 + 场景:数据应用比较多,业务比较复杂
-
建模设计
-
建模方法:维度建模
-
维度设计:星型模型
-
常用维度
- 日期时间维度
- 年维度、季度维度、月维度、周维度、日维度
- 日环比、周环比、月环比、日同比、周同比、月同比
- 环比:同一个周期内的比较
- 同比:上个个周期的比较
- 行政地区维度
- 地区级别:国家维度、省份维度、城市维度、县区维度、乡镇维度
- 服务网点维度
- 网点名称、网点编号、省份、城市、县区、所属机构
- 油站维度
- 油站类型、油站名称、油站编号、客户编号、客户名称、省份、城市、县区、油站状态、所属公司
- 组织机构维度
- 人员编号、人员名称、岗位编号、岗位名称、部门编号、部门名称
- 服务类型维度
- 类型编号、类型名称
- 设备维度
- 设备类型、设备编号、设备名称、油枪数量、泵类型、软件类型
- 故障类型维度
- 一级故障编号、一级故障名称、二级故障编号、二级故障名称
- 物流公司维度
- 物流公司编号、物流公司名称
- 日期时间维度
-
主题维度矩阵
-
- 小结
- 掌握一站制造的项目的分层设计与建模设计
17:项目总结:优化及新特性
-
目标:掌握一站制造项目中的优化方案
-
实施
-
优化:参考FTP中:《就业面试》中的优化文档
-
资源优化:开启属性分配更多的资源,内存合理分配
-
开发优化:谓词下推:尽量将不需要的数据提前过滤掉【join】
- 尽量选用有Map端聚合的算子:先分区内聚合,再分区间聚合
- 尽量将不需要join的数据过滤,或者实现Broadcast Join
-
结构优化:文件存储类型、分区结构化
- 分区表:静态分区裁剪
select count(*) from table1 where daystr = '2021-10-15'; --走分区裁剪过滤查询
--spark2中先join后过滤 select * from table1 join table2 on table1.id = table2.id and table1.daystr = '2021-10-15' and table2.daystr='2021-10-15';
-
-
新特性:Spark3.0
-
动态分区裁剪(Dynamic Partition Pruning)
- 默认的分区裁剪只有在单表查询过滤时才有效
- 开启动态分区裁剪:自动在Join时对两边表的数据根据条件进行查询过滤,将过滤后的结果再进行join
spark.sql.optimizer.dynamicPartitionPruning.enabled=true
-
自适应查询执行(Adaptive Query Execution)
- 基于CBO优化器引擎:实现最小代价的数据处理
- 自动根据统计信息设置Reducer【ShuffleRead】的数量来避免内存和I/O资源的浪费
- 自动选择更优的join策略来提高连接查询性能
- 自动优化join数据来避免不平衡查询造成的数据倾斜,将数据倾斜的数据自动重分区
spark.sql.adaptive.enabled=true
-
-
-
小结
- 掌握一站制造项目中的优化方案
18:项目总结:问题
-
目标:掌握一站制造的项目中遇到的问题及解决方案
-
实施
-
问题1:数据采集不一致问题
- 现象:Hive表中的记录数与Oracle中的记录数不一致
- 原因:Oracle的数据字段中包含了特殊字段,Sqoop采集时,以特殊字符作为换行符生成普通文本
- 解决
- 方案一:替换或者删除特殊字段【不影响数据业务】
- 方案二:更换Avro格式
-
问题2:数据倾斜问题
- 重分区:将数据重新分配到更多的分区中
- 自定义分区方式:默认Hash分区【reduceByKey】、Range分区【sortBy】
- 先过滤再join,或者用广播join
-
问题3:小文件问题
- 每个Task会产生一个结果文件
- Task个数根据分区个数来决定
- 分区多,每个分区的数据少
- 调整分区个数:repartion
-
问题4:ThriftServer资源不足,GC问题
start-thriftserver.sh \ --name sparksql-thrift-server \
-
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
D1GOerIB-1715504109481)]
[外链图片转存中…(img-VYUkc8mL-1715504109481)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新