hadoop的之 hdfs

• HDFS概述

1.1 各节点的作用

Hdfs:采用主/从结构对文件系统进行管理，namenode分布在主节点上，datanode分布在从节点上；

Namenode:相当于一个leader，负责资源调度，当用户上传一个640m的文件，按64m为单元进行分块，然后分布在集群的数据节点上。当用户查询时候namenode从数据节点从取出。

存储的元信息：文件的名字，大小，修改时间等。

Datanode：负责存储数据。

Secondarynamenode：负责合并NameNode的edit logs到fsimage文件中，是namenode的一个助手。它不是要取代掉NameNode也不是NameNode的备份，只是一个检查点。

Hadoop 2.x ：HDFS默认的块大小为128Mb；256Mb将会分为2块。

Hadoop 1.x ：HDFS默认的块大小为64Mb；256Mb将会分为4块。

1.2 hdfs

用一种系统来管理多个机器上的文件。

通透性：在dfs上操作跟在本地操作的感觉一样。

容错性：当机器脱机之后，整个系统整体上继续工作，数据不会出现丢失。

1.3 eclipse的快捷操作

当我们把jar文件全部复制到lib后,如果一个一个去buildpath是很麻烦的,我们点击第一个jar文件,然后按着shift,再点击最后一个jar文件,就可以实现全选jar包,然后右键-->buildpath即可.

详细文档见：