Hadoop实战之路——第一章 引言

        非常荣幸，我们生活在大数据时代，面对大数据给我们带来的机遇与挑战，全球IT研究分析机构高德纳(Gartner)研究副总裁伊恩·伯特伦在接受新华社专访时说：“过去二十年中国互联网积累了良好的基础设施和产业链条，甚至可比肩欧美；未来二十年，大数据将成为中国互联网创新发展的重大机遇”。同时，大数据也带来了更多的高薪岗位，三种大数据技术Hadoop、Big Data、NoSQL一直囊括技术领域薪金最高排行榜前三。据2014年人力资源公司Kforce的报道，Hadoop开发者的年薪为15-17.5万美元，如此高薪的岗位与缺口，吸引了越来越多的人投入到Hadoop的学习中。所谓“夫欲善其事，必先利其器”，没有扎实的技术，就只能“远观”而不可“亵玩”。

        对于一个新手来说，要做的第一件事不是“临渊羡鱼”，而是“退而结网”，这里的“网”指的就是Hadoop技术啦。最起码得知道什么是“网”，才可能获“鱼”吧。那什么是Hadoop呢？Hadoop是Apache Lucene的创始人Doug Cutting所创建的，其实它应该是一个技术生态圈，主要用于进分布式计算和大数据处理，其基本思想在于“用大量的吊丝”形成卓越的“高、富、帅”，包含MapReduce、Hive、Pig、Tez optimized Hive、Spark、Hbase等，如图1-1。

图1.1 Hadoop生态图