Hadoop 初级分享

1、hadoop是什么？

是适合海量数据（1TB以上）的分布式存储与计算平台，包括HDFS和MapRaduce。

（注：分布式，就是把单虚拟机任务变为多虚拟机任务。）

2、hadoop的特性有哪些？

(1)、扩容性好；

(2)、成本低：使用普通机器组成服务器群，用来分发和处理数据。

(3)、高效率：各个节点并行处理数据。

(4)、可靠性：能自动维护数据的多份副本，并且任务失败后，能自动重新分发计算任务。

3、HDFS的架构（存储）？

主从结构：

主节点namenode只有一个，主要是来管理存储。具体任务是

• 接收用户的操作请求；
• 维护文件系统的目录结构，即数据存放在哪台机器上；
• 管理文件与block之间的关系，block与datanode之间的关系。（hdfs默认的block是60Mb）

从节点datanode有若干个，是来存储数据的具体操作者。具体任务是

• 存储文件；
• 文件被分成若干个block，分别存储在不同的磁盘上；
• 为保证数据安全，文件会有多个副本。