今天分享又来了呀。ღ( ´・ᴗ・` ) 一起学习进步ღゝ◡╹)ノ♡
摘要:我们需要了解数据仓库开发这里的面试标准。知晓目标,才有前进的方向。
要点:
基础能力
数仓建模
数据治理
原理理解
工程能力
业务能力
Q:
1. 基础能力如何划分级别?
初级
具备基础的SQL功底,能写出常见、基本的SQL语句;
业务理解能力一般,能理解需求提出者的业务需求描述;
了解SQL的高级用法,如开窗函数。
中高级专家
有较高级的SQL功底,能写出常见的SQL语句;
业务理解能力要求良好,能理解需求提出者的业务需求描述;
熟练使用SQL的高级用法,比如开窗函数;
对SQL on hive or Spark有一定的调优经验,如常见的数据倾斜调优。
资深专家
有扎实的SQL能力,能快速写出多种场景下的SQL语句;
有优秀的业务理解能力,能迅速理解需求方的业务需求描述;
掌握SQL的高级用法,比如开窗函数;
对SQL on hive or Spark有良好的优化经验并在实践中能够应用;
能在生产实践中独立开发各种UDF用户定义函数;
数据架构师
有强悍的SQL能力,能快速实现多样的SQL语句;
业务理解能力要求很高,能根据代码快速明白需求提出者的业务需求描述;
精通SQL各种高级用法,比如开窗函数;
对SQL on hive or Spark有准确、强大的优化实力和经验,能够在并生成实践中实现;
能独立开发各种UDF函数并应用到实践中;
精通Java/Shell/Python/Scala/等语言的其中一项或多项。
Q:
2. 数仓建模能力如何划分级别?
初级
了解Kimball维度建模思想,知晓维度表/事实表的概念,雪花模型/星型模型的概念;
了解维度表和事实表建设的方法论,如变化维度处理方式,事实表种类;
了解数据仓库分层的概念;
了解数仓分层的ETL方式;
了解数据中台概念和建模的结合。
中高级专家
掌握Kimball维度建模思想,知晓维度表/事实表的概念,雪花模型/星型模型的概念;
掌握维度表和事实表建设的方法论,如变化维度处理方式,事实表种类;
掌握数据仓库分层的概念;
掌握数仓分层的ETL方式;
掌握数据中台概念和建模的结合。
资深专家
精通Kimball维度建模思想,知晓维度表/事实表的概念,雪花模型/星型模型的概念;
精通维度表和事实表建设的方法论,如变化维度处理方式,事实表种类;
精通数据仓库分层的概念;
精通数仓分层的ETL方式;
精通数据中台概念和建模的结合
数据架构师
精通Kimball维度建模思想/data vault建模思想/数据湖架构等
搭建过日均百T的数据从0-1的实践经历
搭建过实时数仓,业务数仓,数据湖有Online环境成功运行
Q:
3. 数据治理能力如何划分级别?初级
了解数据生命周期管理/元数据管理/数据质量管理/主数据管理的概念
中高级专家
掌握数据生命周期管理/元数据管理/数据质量管理/主数据管理的概念
资深专家
精通数据生命周期管理/元数据管理/数据质量管理/主数据管理的概念
精通指标体系/画像体系/字典体系/自主分析体系/数据监控体系构建,有完整的实践经验
数据架构师
精通数据生命周期管理/元数据管理/数据质量管理/主数据管理的概念
精通指标体系/画像体系/字典体系/自主分析体系/数据监控体系构建,有完整的实践经验
能够灵活性应对不同的业务场景提炼出不同的数据治理体系,为业务赋能。
Q:
4.原理理解能力如何划分级别?初级
了解Hadoop/Spark/Hive/Flink/Kafka/等组件的原理。
中高级专家
掌握Hadoop/Spark/Hive/Flink/Kafka/等组件的原理。
资深专家
精通Hadoop/Spark/Hive/Flink/Kafka/等组件的原理。
数据架构师
Apache社区主流组件的的committer或者pmc,组件举例:Hadoop/Spark/Hive/Flume、Sqoop/Kylin/Phoenix/ClickHouse/Flink/Kafka/Druid/HBase/Redis等。
知晓大数据领域流行趋势与发展。
Q:
5.工程能力如何划分级别?初级
了解Java/Scala语言。
中高级专家
熟练Java/Scala/Python语言。
资深专家
掌握Java/Scala/Python语言,并在线上项目中成功稳定运行。
数据架构师
精通Java/Scala语言,掌握计算机基础专业知识,并在线上环境成功开发并运行大型高并发高可用项目。
Q:
6.业务能力如何划分级别?初级
通过简单业务的阐述可以完成规定的开发需求
中高级专家
熟悉特定的业务流程并能够做到举一反三
资深专家
掌握特定领域的完整业务流程和内在的业务逻辑
数据架构师
精通特定领域的业务并有能力指出该业务流程中存在的痛点、弱点,具备完整的业务流程体系
Q:
总结
既然知晓了前行道路上的路标,那我们就要沿着既定的方向前行,努力学习、努力搞钱。
- END -
本文为整理归纳后的文章,若侵权请联系后台删除
❤:在这里跟我一起学习技术、职场、人生、原理、健身、摄影、生活等知识吧!
❤: 欢迎点个关注一起学习,进步充实人生。