hadoop(1)

Hadoop是什么?

适合大数据的分布式存储与计算平台

 

Hadoop核心项目:

HDFS:Hadoop Distributed File System 分布式文件系统

MapReduce：并行计算框架

 

HDFS框架：

   主从结构：

       主节点：只有一个，namenode

               负责：1. 接受用户操作请求

                          2.维护文件系统的目录结构

                          3.维护文件与block之间的关系，block与datanode之间关系

       从节点：有很多个，datanodes（备用钥匙）

               负责：1.存储文件

                          2.文件被分成block存储在磁盘上

                          3.为保证数据安全，文件会有多个副本

 

MapReduce框架:

主从结构：

       主节点：只有一个，JobTracker

               负责：1. 接收客户提交的计算任务

                          2.把计算任务分配给TaskTracker执行

                          3.监控TaskTracker的执行情况

       从节点：有很多个，TaskTrackers

               负责：执行JobTracker分配的计算任务

。。。。。。。。。。。。。。。。