Hadoop 简介

今天我们正在被数据包围，人们上传视频，更新微博，发网上留言、点击广告等等，这使得机器产生和保存了越来越多的数据，数据的指数级增长给一些大公司带来了新的挑战，Google率先推出了MapReduce，随后一些公司纷纷响应。在数据量剧增的同时，他们更看到了商业上的价值。

Hadoop 与众不同的几点在于：

1 方便：Hadoop运行在由一般商用机器构成的大型集群上，或者如亚马逊弹性云（EC2）等云计算服务上。

2 健壮：Hadoop致力于一般的商用硬件上运行，其架构假设硬件会频繁出现失效，它可以从容的处理大多数此类故障。

3 可扩展：Hadoop通过增加集群节点，可以先行的扩展以处理更大的数据。

4 简单：Hadoop程序员可以写出快速的并行代码。

上图为：Yahoo hadoop 集群

比较SQL数据库和Hadoop

原则上SQL和Hadoop可以互补，因为SQL是一种查询语言，它可以使Hadoop作为其执行引擎。但实际上，SQL数据库往往指代一整套传统技术，通过几个主要数据库厂商，面型一组历史悠久的应用进行优化。许多这些现有的商业数据库无法满足Hadoop设计所面向的需求，其中一个原因就是：

SQL（结构化查询语言）是针对结构化数据设计的，而Hadoop最初的许多应用是针对文本这种非结构化数据，从这个角度来讲，Hadoop比SQL提供一种更灵活通用的模式。

更详细的比较：

1 向外兼容代替向上兼容

扩展商用关系型数据库的代价是非常昂贵的。它们的设计更容易向上扩展。运行一个更大的数据库，就需要买一个更大的机器，更多时候这种所谓“更大的”、“高端的”机器对于许多应用并不经济。例如：性能4倍于标准PC的机器，其成本将大大超过同样的4台PC放在一个集群中。Hadoop的设计就是为了能够在商用集群上实现向外扩展的架构，添加更多的资源（不够用就往里添），对于Hadoop集群就是添加更多的机器。一个Hadoop集群的标配是10-数百台计算机。

2 用键值对代替关系表。

这个很好理解，传统的关系型数据库的表字段数据类型一般的是固定的，但是对于文本、图片、xml文件这些数据类型，并不能很好的适应这个模式。Hadoop使用键值对作为基本数据格式，数据的来源可以以任何形式，但最终会转化为键值对供处理。

3 函数式编程代替SQL编程

4 离线批量处理代替在线处理

Hadoop是专为离线处理和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。在可见的未来，Hadoop最适合一次写入，多次读取的数据存储需求，有点类似SQL世界的数据仓库。

理解Map Reduce：

这个是Hadoop基本思想，就是一分一合，原语称为“mapper”， “reducer”，在mapping阶段，MapReduce获取数据并将数据装入mapper，在reducting阶段，reducer处理来自mapper的所有输出，并给出最终结果。

Hadoop工作的三种模式：

1 本地（单机）模式

2 伪分布式模式

3 全分布式

初学者可以练习第一种，最经典的案例就是wordcount example。

奥对了，前几天在微博上，找到一个不错的学习资料，hadoop权威指南第二版，hadoop权威指南第三版（英文）非常不错，现在Hadoop的稳定版本为2.2，有了一些比较大的改进，比如yarn等等。可以参考Hadoop2.2的改进： hadoop2.2的改进。

掌握最基本的原理的同时，学会应用。我很相信，“术”跟“道”的不同，“术”是指一件事的本质，原理，“道”是指做一件事的方法，做一件事可以有很多方法，只是有优跟劣之分，有些方法当时很有效，可过一段时间，就不是最有效的，因为有另外一个方法取代了它。跟技术的更新换代一样，有些技术过段时间就过时了，但“术”（原理）基本不会变。