大数据工程技术人员大体分为以下7种类型:
- 以研究大数据技术为主的技术研发人员;
- 以研究大数据架构体系为主的架构设计人员;
- 以开发大数据软硬件应用为主的应用开发人员;
- 以对大数据进行整合加工处理的数据开发人员;
- 以维护大数据系统运行为主的运维管理人员;
- 以治理数据并维护数据安全为主的数据治理人员;
- 以提供大数据咨询服务为主的营销咨询人员。
技术研发人员
主要工作任务体现为对大数据相关技术的研发,如对底层计算引擎的研发,对并行分布式计算算法的研究,对数据存储策略以及资源缓存等方面的设计等等,这类人员所从事的工作任务主要集中在算法开发、技术预研、组件二次开发等等任务上,属于研发型人才。典型岗位有大数据算法研发工程师、流式计算研发工程师等
架构设计人员
主要工作任务体现为对大数据系统的整体架构进行布局及设计,如对接口规范的制定,对存储系统的选型,对计算集群的规划等方面。这类人员所从事的工作岗位属于在企业中较为高级的岗位,属于研发型人才。典型岗位如大数据架构师、大数据高级开发工程师、大数据平台研发工程师、数据库研发工程师等
应用开发人员
主要工作任务体现为对大数据软硬件系统进行编码开发,主要的工作任务还是以应用开发为主,如使用web技术将大数据平台的接口进行对接,使大数据系统的计算、存储功能能够集成到软件应用上。这类人员主要分布于众多有开发自身大数据产品为主的互联网企业公司,属于应用型人才。典型岗位有大数据开发工程师、数据库开发工程师、大数据集成工程师、大数据前端工程师等。
数据开发人员
主要工作任务体现为整合各个数据系统中的业务数据,并对其进行清洗、整合等预处理以及根据业务需要,对其进行计算、分析、挖掘等操作。企业将其定位为应用型人才,其中数据开发人员又因其自身的技术特征,分为了两大类从业人员,一类是集中于使用大数据并行计算引擎,对数据进行采集、清洗、计算以及应用展示的数据处理人员。典型岗位有大数据爬虫工程师、大数据ETL工程师、大数据报表开发工程师、数据仓库工程师、大数据建模工程师等。另一类则是使用数据分析算法、数据挖掘模型,对数据进行深度分析处理,挖掘数据特征的数据分析人员。典型岗位有大数据分析师、大数据挖掘工程师、大数据可视化工程师等。
运维管理人员
主要工作任务体现在搭建大数据平台,并对其进行维护管理,主要的工作任务围绕着搭建大数据集群环境、开发集群运维脚本、配置集群高可用性以保障集群的稳定运行。这类人员主要以技能型人才为主。典型岗位有大数据测试工程师、大数据运维工程师、数据库管理工程师、大数据运维工程师、技术支持工程师等。
数据治理人员
主要工作任务体现在对数据本身的治理和管控,主要工作任务围绕着元数据管理、数据安全管理、数据质量管理等方面,是保障数据隐私,规范数据权限的重要环节。这类人员所从事的工作岗位属于在企业中较为高级的岗位,属于研发型人才。典型岗位如数据治理工程师、大数据安全工程师、大数据安全分析师、信息安全工程师。
营销咨询人员
主要工作任务体现在向企业客户提供技术相关的咨询及产品所涉及技术体系和理念的介绍,主要工作任务围绕着以产品介绍、客户营销等方面为主。因其岗位的特殊性,主要的工作任务较少涉及到工程技术方面的实操,在企业中常被定义为售前、顾问人才。典型岗位有解决方案工程师、大数据项目经理、大数据需求分析师、大数据产品经理等。
这七个岗位基本上涵盖了大数据工程技术方向的就业岗位,目前高校培养位于起步阶段,市场上和企业中的相关工作人员由其他专业转行的比较多