认识hadoop

Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。
HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。
MapReduce是一个计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算。

总的来说，如果有一个很大的任务，单机很难完成，所以要用到分布式，就是有一台 master机子（服务器），有很多 slave机子（服务器），然后 masters给 slaves分配任务，把一个大任务分成很多小任务，给每个 slave去完成，然后 master机子收集每个 slave的结果，处理得出最终结果， hadoop就是一个完成了这个事情的框架