大数据时代的新兴职业

现今，大数据浪潮已经席卷全球的各种组织，相关的从业人员更了解如何管理数据、建立分析系统并使得数据变得具有价值。最近的一项调查也证实了这点。调查结果显示83%的人认为大数据浪潮所催生的新技术增加了数据科学家的需求，同时64%的人认为将出现技术人员供不应求的局面。麦肯锡全球研究院的研究预测在未来6年，仅在美国本土就可能面临缺乏14万至19万具备深入分析数据能力人才的情况，同时具备通过分析大数据并为企业做出有效决策的数据的管理人员和分析师也有150万人的缺口。

大数据处理系统管理员

大数据处理系统管理员负责日常Hadoop集群正常运行。例如直接或间接的管理硬件，当需要添加硬件时需保证集群仍能够稳定运行。同时还要负责系统监控和配置，保证Hadoop与其他系统的有机结合。

大数据处理平台开发人员

大数据处理平台开发人员负责构建大数据处理平台以及用来分析数据的应用。由于其在开发领域已具备相关的经验，所以比较熟悉相关的工具或算法。这在编写、优化以及部署各种复杂的MapReduce的工作时会有所帮助。运用大数据相关技术的从业人员的作用类似传统数据库世界中DBA的定位。

数据分析和数据科学家

数据分析和数据科学家基本属于同一类别的工作，这些具备专业领域知识的人士研究相应的算法分析对应的问题，而数据挖掘也是其应掌握的重要技术。帮助创建推动业务发展的相应的大数据产品和大数据解决方案。

数据管家

企业要提高数据质量必须考虑任命数据管家。数据管家需利用Hadoop汇集企业周围的大量数据，并将数据通过ETL的过程被清洗和规范化，进入到数据仓库中，成为一个可用的版本。然后，通过报表和分析技术，数据被切片、切块，并交付给成千上万的人。担当数据管家保证市场数据的完整性，准确性，唯一性，真实性和不冗余。

虽然现今面临技术人员匮乏的状况，但也并非绝望。Cloudera公司的Omer Trajman就指出Hadoop做为大数据技术的解决方案并不像学习如何制造火箭那样困难。几年前，了解Hadoop的人还寥寥无几，但现在越来越多的人开始学习Hadoop。企业应当鼓励并培养技术人员学习Hadoop技术。

---

【技术分享】

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。