大数据相关岗位介绍

前言：

从10年开始从事数仓岗位，转眼已经十几年了，这些年一直在互联网行业，最近一份工作跳到了大厂，也混到了相当于阿里P8的级别，最近一两年，面试的应届生、毕业一两年的小孩，问起他们对大数据方面工作的理解，大部分都了解的不够全面和深入，心想着这些会影响他们的方向选择和职业规划，也许会影响人的一生，所以趁五一在家不忙，打算把我理解的一些知识，在不违反公司保密条例的情况下分享给大家，期望大家少走一点弯路，选择到自己满意的岗位。

正文：

大数据相关岗位介绍

从底往上看。

第一类：研发工具、做工具。

职位1：引擎研发工程师， 也有叫大数据开发工程师。

职责：研发各类计算、存储引擎。如常见的腾讯云、阿里云、flink、spark、hive 等。

研发工具：通常使用java，据说也有C/C++。

背景要求：硕士毕业为主，计算机相关专业，这类人通常智商较高、国外引入的人才相对较多，待遇和级别也较高。

特点：接触业务较少、对计算机能力要求非常高，英文好，计算机能力强、数学一般、不擅长沟通，又想从事数据相关工作的同学可以尝试这个方向。

职位2：调度工具开发工程师、元数据管理、数据治理等工具开发工程师。

职责：研发各类大数据相关的工具，如：数据介入工具（采集工具）、数据加工工具（调度工具）、数据运维工具（质量管理工具、数据治理工具）、数据消费工具（报表、标签、元数据管理工具）等

研发工具：基本上都是java

背景要求：本科、硕士都有，计算机、数学等专业都有，较少见到国外引入人才

特点：接触业务较少，对计算机能力要求一般，数学一般、期望从事数据相关工作的同学可以考虑，因各类工具排期比较紧凑，加班较多

职位3：工具产品经理、PD

职责：上述职位2的产品设计

研发工具：ppt、demo设计工具

背景要求：本科、硕士，计算机、数学等专业都有

特点：接触业务较少，对计算机能力要求一般，思维缜密、擅长辩论的同学可以选择，工作经常需要接受各方挑战，也有较多是由数仓研发转过来，加班较多

第二类：数据研发类

职位1：数据采集工程师

职责：负责将各类源头数据收集、规整并导入数仓环境

研发工具：通常是自己研发、或开源的采集工具，少数情况需编写 sql、 python、java 脚本

背景要求：本科+，计算机、数学等专业都有

特点：这类工作逻辑性要求相对较低，通常会选择部分工作内容外包

职位2：数据仓库架构师

职责：负责制定 数据采集、研发、运维过程中的逻辑空间和物理空间的组织方案、命名规则、依赖规则、加工方案等，数据研发体系中所有技术问题架构师都可以参与

研发工具：流程工具、word、ppt等

背景要求：本科+，计算机、数学等专业都有

特点：这类工作需要经验积累，通常是具备5-8年以上的数据研发任职

职位3：数据研发工程师、数据仓库工程师

职责：负责数据仓库模型设计、脚本研发、报表搭建 

研发工具：流程工具、sql、python、开源or自研报表工具

背景要求：本科+，计算机、数学等专业都有

特点：戏称sql boy，因为初级数据研发通常都是写sql，但实际上写sql工作约占一半精力，这类工作需要 沟通、技术、思考等多方面技能，辩论需要低于PD、技术能力低于工具研发高于BI、沟通能力高于工具研发

职位4：数据治理工程师

职责：负责事项比较杂，有集群管理、质量管理、合规治理等，所有数据治理、运维保障相关事项都负责（数据治理目前damma的定义范围更广，这个职责按照我个人理解写，仅供参考）

研发工具：流程工具、sql、python

背景要求：本科+

特点：因为不同细分领域差异较大，大部分都会细分，譬如质量管理、集群管理、合规治理等，做这类工作需要先对数据研发有个整体认知，所以建议先做2-3年数据研发，然后再转 

第三类：数据消费类

职位1：BI、数据分析师、商业分析

职责：作为业务和数据的桥梁，一是负责把业务问题转化为数据问题并协同数仓落地，二是负责从数据中找到对业务有帮助的信息。业务分析报告、决策&过程指标设计、临时取数需求，通常都是BI的事

研发工具：sql、excel、ppt

背景要求：本科+，观察到的BI相对学历都较高，硕士占大多数

特点：俗称表妹，初级BI都是做临时需求为主，临时需求需要用到excel表格，BI通常需要对业务有和数据有更高的敏感性，是数据中最懂业务的人，也是业务里最懂数据的人，最近几年因为入门门槛低，初级BI泛滥，所以导致BI的学历也卷高起来，但是高级BI相对较少

职位2：算法工程师

本人对算法仅是了解，这边仅做简单介绍，若写的不准确请见谅

职责：通常算法会分为数据挖掘、机器学习，这边就一并写了，数据挖掘通常是生产各种资产标签，机器学习是做一些 人群圈选、推荐、预测等事项

研发工具：sql、python

背景要求：统计学、机器学习类硕士毕业，海外引入也较多

特点：初级的沦为调参工程师，高级一般需要比较好的英文阅读能力、数学功底、sql&python or java的 脚本研发能力。