Hadoop入门——初识DataNode

1.DataNode

HDFS架构：NameNode、DataNode、Secondary NameNode；

DataNode：提供真实的文件数据存储服务；

文件块（Block）：文件块是最基本的存储单位，在DataNode中，文件被分为文件块，默认为三个，HDFS默认一个Block大小是128M，通过dfs.block.size配置文件可修改大小。HDFS跟普通文件系统不相同，如果一个文件小于一个数据块大小，并不占用整个数据块的存储空间。

Block分配机制：默认将一个文件分为三个文件块，第一个发送至离Client最近的DataNode上，第二个Block发送到另一个机架（Rack），以防止一个机架断电导致丢失，第三个Block副本在本机架上随机找一个DataNode存放。通过hdfs-site.xml中修改dfs.replication修改复本数。

2.HDFS的Java客户端依赖包

HDFS包
hadoop-2.4.1/share/hadoop/hdfs/hadoop-hdfs-2.4.1.jar
hadoop-2.4.1/share/hadoop/hdfs/lib/*
commons包
hadoop-2.4.1/share/hadoop/common/hadoop-common-2.4.1.jar
hadoop-2.4.1/share/hadoop/common/*（重复会覆盖）