Hadoop简介
分布式存储系统HDFS(hadoop Distributed File System)
分布式存储系统
提供了高可靠性,高扩展性和高吞吐率的数据存储服务
分布式计算框架MapReduce
分布式计算框架(计算向数据移动)
具有 易于编程、高容错性和高扩展性等优点。
分布式资源管理框架YARN(Yet Another Resource Management)
负责集群资源的管理和调度
HDFS架构
整体结构
文件元数据MetaData,文件数据
(主)NameNode节点保存文件元数据:单节点
(从)DataNoode节点保存文件的Block数据:多节点
DataNode与NameNode保持心跳,提交Block列表
HdfsClient与NameNode交互元数据信息
HdfsClient与DataNode交互文件Block数据
角色简介
NameNode(NN)
基于内存存储 :
- 不会和磁盘发生交换
- 只存在内存中
- 持久化
NameNode主要功能:
- 接受客户端的读写服务
- 收集DataNode汇报的Block列表信息
- NameNode保存metadata信息包括:
- 文件owership和permissions
- 文件大小,时间
- (Block列表:Block偏移量)
- Block 副本位置(由DataNode上报)
DataNode(DN)
- 本地磁盘目录存储数据(Block),文件形式
- 同时存储Block的元数据信息文件
- 启动DN时会向NN汇报block信息
- 通过向NN发送心跳保持与其联系(3秒一次),如果NN 10分钟没有收到DN的心跳,则认为其已经lost,并copy其上的block到其它DN
SecondaryNameNode(SNN)
- 它不是NN的备份(但可以做备份),它的主要工作是帮助NN合并edits log,减少NN启动时间。
SNN执行合并时机 - 根据配置文件设置的时间间隔fs.checkpoint.period 默认3600秒
- 根据配置文件设置edits log大小 fs.checkpoint.size 规定edits文件的最大值默认是64MB
存储数据的流程
1.如果要上传文件,计算大文件的block数量 大文件/128M=block块数
2.client会向namenode汇报:
(1)当前大文件的block数
(2)当前大文件属于谁 权限
(3)上传时间
for(Block block:blocks(大文件切割出来的block块)){
3、client切割出来一个block
4、请求block块的id号及地址
5、因为namenode能够掌控所有的DN,所以他会将负载不高的DN地址返回给client
6、client拿到地址后,找到DN去上传数据(写数据,详情见)
7、DN将block块存储完毕后,会向NN汇报当前的情况
}