(2011-4-27 02:04:03)
1. Hellow hadoop~~!
Hadoop(某人儿子的一只虚拟大象的名字)是一个复杂到极致,又简单到极致的东西。
说它复杂,是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成,你运行的每一个任务都要在这些计算机上做任务的分发,执行中间数据排序以及最后的汇总,期间还包含节点发现,任务的重试,故障节点替换等等等等的维护以及异常情况处理。谁叫hadoop集群往往都是由一些平民计算机组成,没事儿罢个工什么的,实在是再寻常不过的事情。
而说其简单,则是因为,上面说到的那些,你通通不用管,你所需要做的,就是写一个程序,当然也可以是脚本,从标准输入读入一条数据,处理完之后,把结果输出到标准输出。
现在,或许你就明白了,hadoop就是一个计算模型。一个分布式的计算模型。
1.1Map和reduce
天下大事,分久必合、合久必分。
所谓分布式计算,就是把一大堆用于计算的数据材料切了,扔到多