hadoop-hdfs系统构成

2019独角兽企业重金招聘Python工程师标准>>>

HDFS组成
1)NameNode 元数据
2)DataNode 存储文件内容block
3)SecondaryNameNode 合并NameNode与edits

HDFS缺点
1)不能低延迟访问
2)小文件存取
   占用大量NameNode内存空间
   寻道时间超过读取时间
3)并发写入,文件随机修改
   一个文件只能有一个写着
   仅支持append

HDFS存储数据单元
1)文件被切分成固定大小的数据块 
    默认为64mb 
    若文件不足64mb单独存为一个块
2)一个文件的存储方式
    按大小被切分为若干block，存储到不同节点上
    默认每个block有3个备份
3)block大小和副本数在上传时决定
   文件上传后副本数可变 但block大小不可变更

NameNode
1)主要功能 接受客户端的读写功能
2)保存的metadate信息
   文件所有者及权限信息
   文件包括哪些块
   block保存在哪个DataNode上(启动时由DataNode上报)
3)metadate信息记录在硬盘的fsimage文件中
  block信息不保存在fsimage
  edits文件记录对metadate的操作日志

SecondaryNameNode
执行合并的时机
根据配置文件设定的时间间隔 默认3600s
根据配置文件设定的edits log文件大小 默认64mb

DataNode
存储数据block
启动时向NN报告block信息
与NN保持心跳连接

block的副本存放策略
第一个副本 放置在上传文件的DN上 如果是集群外提交按一定规则随机放置
第二个副本 放置在与第一个副本不同的机架上
第三个副本 与第二个副本在同一机架上
更多副本 随机节点

HDFS文件权限
与linux类似 rwx

HDFS安全模式
1)NameNode启动时 首先将映像文件fsimage载入内存,并执行编辑日志edits中的各项操作
2)在内存成功建立文件系统元数据映射后 创建一个新的fsimage文件和一个空的edits文件
3)此时NameNode运行在安全模式。即NameNode的文件系统对客户端来说是只读的。不可读写重命名等
4)在此阶段NameNode收集各个datanode的报告，获取block情报。当数据块达到最小副本数以上时，会
被认为是安全的，在一定比例的数据块被确认安全后，再过若干时间，安全模式结束
5)当检测到副本数不足的数据块时，该块会被复制达到最小副本数
   系统中的数据块位置不是有namenode维护的，而是存储在datanode的块列表中

转载于:https://my.oschina.net/dajianguo/blog/1501706