大数据处理系统管理员

大数据处理系统管理员负责日常Hadoop集群正常运行。例如直接或间接的管理硬件,当需要添加硬件时需保证集群仍能够稳定运行。同时还要负责系统监控和配置,保证Hadoop与其他系统的有机结合。

大数据处理平台开发人员

大数据处理平台开发人员负责构建大数据处理平台以及用来分析数据的应用。由于其在开发领域已具备相关的经验,所以比较熟悉相关的工具或算法。这在编写、优化以及部署各种复杂的MapReduce的工作时会有所帮助。运用大数据相关技术的从业人员的作用类似传统数据库世界中DBA的定位。

数据分析和数据科学家

数据分析和数据科学家基本属于同一类别的工作,这些具备专业领域知识的人士研究相应的算法分析对应的问题,而数据挖掘也是其应掌握的重要技术。帮助创建推动业务发展的相应的大数据产品和大数据解决方案。

数据管家

企业要提高数据质量必须考虑任命数据管家。数据管家需利用Hadoop汇集企业周围的大量数据,并将数据通过ETL的过程被清洗和规范化,进入到数据仓库中,成为一个可用的版本。然后,通过报表和分析技术,数据被切片、切块,并交付给成千上万的人。担当数据管家保证市场数据的完整性,准确性,唯一性,真实性和不冗余。

虽然现今面临技术人员匮乏的状况,但也并非绝望。Cloudera公司的Omer Trajman就指出Hadoop做为大数据技术的解决方案并不像学习如何制造火箭那样困难。几年前,了解Hadoop的人还寥寥无几,但现在越来越多的人开始学习Hadoop。企业应当鼓励并培养技术人员学习Hadoop技术。

原文来自:http://www.csdn.net/article/2012-01-15/310794