Hadoop简介

Hadoop简介：Hadoop开始时是Nutch的一个子项目，而Nutch有事Apache Lucene的一个子项目，

三个项目均由Doug Cutting创立，每个项目在逻辑上都是前一个项目的的演进。

HDFS架构

主从结构 主节点，只有一个: namenode 从节点，有很多个: datanodes namenode负责： 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系，block与datanode之间关系 datanode负责： 存储文件 文件被分成block存储在磁盘上 为保证数据安全，文件会有多个副本

 

MapReduce的架构

主从结构 主节点，只有一个: JobTracker 从节点，有很多个: TaskTrackers 二者的通信机制叫心跳机制，具有周期性 JobTracker负责： 接收客户提交的计算任务 把计算任务分给TaskTrackers执行 监控TaskTracker的执行情况 TaskTrackers负责： 执行JobTracker分配的计算任务

Hadoop的特点

扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。 高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。 可靠性（Reliable）：hadoop能自动地维护数据的多份副本，并且在任务失败后能自动地重新部署（redeploy）计算任务。

 

hadoop的部署方式

本地模式：本地模式是运行在本地，只负责存储，没有计算功能。 伪分布模式：伪分布模式是在一台机器上模拟分布式部署，方便学习和调试。 集群模式：集群模式是在多个机器上配置 hadoop，是真正的“分布式”。