Hadoop之HDFS主从架构及说明(一)

HDFS架构设计  -- 主从架构

1.基础介绍
一、HDFS进程
NN 名称节点    (主)      
DB 数据节点    (从)
SNN 第二名称节点     (check porint)

二、block(数据块)
默认大小：128M
修改文件：hdfs-site.xml
修改参数：dfs.blocksize
文件存储会分隔多个block块进行本地存储，集群模式下block会在其他DN上存储block复制副本
举例：一个300M文件上传,切2个block 最后一个block块44M。

三、副本数  -- DB节点机器数(从)
-- 基本配置为三个副本数，Maxreplication=512 ，Minreplication=1
修改文件：hdfs-site.xml
修改参数：dfs.replication

2.架构设计图及说明

NN  一台 | 两台 HA  (Actice\standby)
DN  多台 | rack区分 和 网段

NameNode       -- 文件系统命名空间
1、文件名称
2、文件目录结构
3、文件属性 (permissions, create_time,replications )
4、文件对应数据块，数据块对应分布在哪些DN节点上列表 ，
PS：接受DN发送blockReport数据存储在内存上 

DataNode      -- 存储数据块 + 数据块的校验和
1、与NameNode通信
    :每隔3s发送一个心跳 ,是否存活
     :每隔10次心跳发送一次blockReport
2、作用：读写文件的数据块
PS：DN存储在本地磁盘上

SecondaryNameNode     -- Check  NN
1、存储:命名空间镜像fsimage + 编辑日志editlog
2、作用:定期合并fsimage+editlog 为新的fsimage推送给NN 称为 chenkpoint
参数配置：dfs.name.checkpoint.period 3600s  

启动顺气: NameNode  > SecondaryNameNode > DataNode


3.副本放置策略及说明


黄色:为上传文件，第一个副本优先上传到本地NameNode
蓝色:依次更多DataNode副本

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31441024/viewspace-2154852/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31441024/viewspace-2154852/