大数据团队必须设置的五种职位

大数据团队核心角色
麦肯锡指出,大数据团队需配置五种关键角色:数据卫生员、数据探索者、企业解决方案架构师、数据科学家及运动专家。认知科学家和行为经济学家尤其适合担任数据探索者和运动专家。

大数据团队必须设置的五种职位

作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszs

麦肯锡认为,大数据团队必须有五种职位:

1)数据卫生员(Data Hygienists) - 这些人,确保数据总是干净的、准确的。

2)数据探索者(Data Explorers) - 这些人在大数据项目找到你真正需要的数据。

3)企业解决方案架构师(Business Solution Architects) - 这些人把收集的数据组织在一起,以便用于分析,他们负责设计数据的结构,以确保数据可以有效地供所有用户检索,有些数据的访问需要数分钟、甚至数小时,例如,需要每分钟或每小时使更新的数据。

4)数据科学家(Data Scientists) - 这些人为大数据项目组织数据并建立分析模型。他们还修订、更新和替换必要的模型。

5)运动专家(Campaign Experts) - 这些人负责解释结果,并付诸行动。

如果你想知道,认知科学家和行为经济学家适合以上五个角色中的两种:数据探索者和运动专家。这是因为他们能熟练地识别项目中的重要的数据,而且他们也可以对结果做出合适的解释,对执行也有很大的帮助。

大数据项目组人员配置 演讲人 2021-08-08 大数据项目组人员配置全文共27页,当前为第1页。 目录 01. 背景 07. 产品设计类 03. 出发点 05. 基础平台类 02. 目标分析 04. 人员配置结构 06. 技术研发类 08. 实施项目经理 大数据项目组人员配置全文共27页,当前为第2页。 01 背景 大数据项目组人员配置全文共27页,当前为第3页。 目前公司大数据项目的优先级提升,数据项目对公司来讲具备极强战略意义 原有数据中心项目组成员经常变动,无法专注在一个项目上,因此输出速度和质量无法有效保障 原有数据项目的优先级和利害程度没有现在这么高,因此原有项目组人员配置不完整 背景 大数据项目组人员配置全文共27页,当前为第4页。 02 目标分析 大数据项目组人员配置全文共27页,当前为第5页。 目标分析 为了使数据中心能够更快更高质量落地,需要完善团队人员 为了提升数据中心的产品质量,需要完善团队人员 大数据项目组人员配置全文共27页,当前为第6页。 03 出发点 大数据项目组人员配置全文共27页,当前为第7页。 出发点 数据中心项目落地,并不仅仅与开发完成的软件系统相关,涉及到各方各面。其中包括前期咨询,中期系统建设,售后落地实施和售后保障。 举个例子,数据中心的落地,就好比开一家火锅店。数据中心这个系统仅仅相当于火锅店的底料配方。数据中心落地,就好比经营一家火锅店,还需要考虑菜品供应商,n多经营许可证,财务管理,店铺租用,成本核算,人员管理,制度建设等等方面。而这 方面恰恰是重要但是单从技术和产品角度无法预知和控制的方面,这方面没有经历过会有较大风险。 为了规避风险,提升落地可行性,提出以下人员配置的建议 大数据项目组人员配置全文共27页,当前为第8页。 04 人员配置结构 大数据项目组人员配置全文共27页,当前为第9页。 在大数据团队组建过程中,科学地定义职位体系直接影响到大数据实施的效率和质量,由于大数据的创新性和严谨性,会有一批新的岗位,例如首席数据官、大数据解决方案架构师、大数据采集工程师、大数据研究员等;同时,也会强化原有岗位的新生命力,例如网络工程师、算法工程师、系统架构师、咨询顾问、数据库管理与开发等。整个职位架构体系如下图所示 人员配置结构 大数据项目组人员配置全文共27页,当前为第10页。 数据中心项目岗位体系 基础平台类 基础平台类:大数据基础平台共分为硬件平台和软件平台两大类别,硬件平台包括服务器、操作系统和网络维护等工作,主要由网络工程师负责;软件平台包括Hadoop运维、数据仓库管理、软件系统运维等工作,由 Hadoop运维工程师、数据仓库管理员和系统管理员负责。 技术研发类 技术研发类:技术研发类岗位指的是针对大数据相关系统、软件、产品和功能进行的开发,而非IT系统的开发。由于大数据类的开发是一个相对完整的工作链,并且具有特殊应用需求和场景特征,因此涵盖了几乎与IT系统相同的职能岗位。技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。 大数据项目组人员配置全文共27页,当前为第11页。 产品设计类 产品设计类:项目产品类岗位通常是每个公司不可或缺的岗位,这些岗位是有计划开发数据工作的基本前提,通常决定了一个产品或项目未来的方向和具体实施的概念定义。而项目产品类泛指数据项目工作的前端职位,含项目经理、产品经理、UI、UE等 数据中心项目岗位体系 大数据项目组人员配置全文共27页,当前为第12页。 05 基础平台类 大数据项目组人员配置全文共27页,当前为第13页。 偏向硬件管理工程师和运维工程师等。目前暂时由研发人员承担,这部分需要多少人需要什么人要研发来出建议 基础平台类 大数据项目组人员配置全文共27页,当前为第14页。 06 技术研发类 大数据项目组人员配置全文共27页,当前为第15页。 大数据架构师(近6个月内不重要,6个月后看发展方向决定是否需要):作为大数据技术平台成功落地的重要保障,大数据架构师在大数据技术发展之初就已经奠定了必不可少的角色基础,该职位主要负责Hadoop技术解决方案的整个生命周期的解决方案确定并进行引导,包括:大数据需求分析、平台选择、技术架构设计、应用设计和开发、应用测试和部署等大数据实施全流程的跟踪,并在实施过程中带领技术团队,为设计和开发大规模集群的数据处理系统提供技术和管理。 技术研发类 大数据项目组人员配置全文共27页,当前为第16页。 作为一个或多个领域的系统架构专家,更要面向未来:设计领先的软件架构,洞察所在领域的系统技术发展趋势,提出新的系统架构理念,主导架构技术项目开展架构原型的验证,保证未来新产品的软件架构具有领先的架构竞争力;改进已有产品的软
### 大数据相关职位概述 大数据领域涉及多个技术和业务层面的角色,涵盖了从数据采集到数据分析再到决策支持的整个流程。以下是常见的大数据相关职位及其职责描述: #### 数据科学家 (Data Scientist) 数据科学家负责构建复杂的预测模型并分析大量复杂的数据集以提取有意义的信息。他们通常需要掌握统计学、机器学习和编程技能[^4]。 #### 数据分析师 (Data Analyst) 数据分析师的主要工作是对现有数据进行处理和可视化展示,帮助企业和团队理解数据背后的模式与趋势。这一角色更注重实际操作能力和工具应用能力,比如Excel、SQL 和 Python 的熟练运用[^2]。 #### 数据工程师 (Data Engineer) 数据工程师专注于设计、优化数据库架构以及开发高效的数据管道,确保大规模数据能够被快速存储、检索和传输。该职业还需要熟悉 Hadoop、Spark 等分布式计算框架和技术栈[^3]。 #### 数据挖掘工程师 (Data Mining Engineer) 这类专业人士致力于研究如何从海量历史记录里发现潜在规律或者关联关系,并将其转化为可行动的企业策略建议;同时也会参与制定相应的算法解决方案来提升效率或降低成本等问题解决过程中的技术支持部分。 #### 商业智能开发者(Business Intelligence Developer) BI 开发者创建交互式的仪表板报告系统以便让非技术人员也容易理解和使用这些信息来做更好的商业决定。这可能涉及到 ETL 流程管理(Extract-Transform-Load), OLAP Cube 设计, KPI 定义等方面的知识点[^1]. #### 机器学习工程师(Machine Learning Engineer) ML 工程师将理论性的 AI/ML 模型转换成生产环境下的实时服务接口(APIs)供其他应用程序调用访问; 同时也要考虑性能瓶颈调试维护等工作内容.[^5] ```python class JobRoles: def __init__(self): self.roles = { 'data_scientist': '构建复杂预测模型...', 'data_analyst': '对现有数据进行处理...', 'data_engineer': '设计优化数据库架构...', 'data_mining_engineer': '研究发现潜在规律...', 'bi_developer': '创建互动式报表系统...', 'ml_engineer': '实现AI/ML模型...' } def get_roles(self): return list(self.roles.keys()) roles_instance = JobRoles() print(roles_instance.get_roles()) ```
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值