hadoop介绍和体系架构

hadoop是什么?

        hadoop是适合大数据的分布式存储和计算平台

hadoop的核心项目

        HDFS:分布式文件系统

        MapReduce:并行计算框架

HDFS的体系架构:

主从结构

    主节点，只有一个: namenode
    从节点，有很多个: datanode
namenode负责：
   接收用户操作请求，是用户操作的入口,维护文件系统的目录结构，称作命名空间
datanode负责：存储文件

MapReduce的架构

主从结构

    主节点，只有一个: JobTracker
    从节点，有很多个: TaskTracker
JobTracker负责：
    接收客户提交的计算任务把计算任务分给TaskTrackers执行，即任务调度,监控TaskTracker的执行情况
TaskTrackers负责：
执行JobTracker分配的计算任务

hadoop的特点:

    扩容能力
    成本低
    高效率
    可靠性

hadoop集群的分布图: