hdfs基础架构介绍
hdfs简介
hdfs是hadoop distributed filesystem的缩写,设计思想最早源于GFS(google分布式文件系统),顾名思义就是hadoop分布式文件系统,简单通俗的将就是将一个大文件切分成若干个块(切割后的小文件)存储在不同的机器上,然后将每个小文件对应的位置以及偏移量保存起来,用去读写或则追加(不支持修改),负责管理块与机器对应关系的节点叫做namenode,就是负责命名空间,管理元数据的节点,实际负责块读写的节点叫做datanode
大概就是这样子的,废话不多说,先看一下hdfs的基础架构
hdfs基础架构图
架构图源于apache官网
HDFS基础组成大概分为两个模块,namenode和datanode,有一个或则两个namenode,多个datanode组成,下边详细介绍下
namenode的主要职责
1 负责管理系统命名空间,hdfs上的文件增加,删除,新建重命名,目录操作等
2 负责处理客户端访问文件的主服务器,管理datanode块的元数据信息
3 负责等待datanode汇报消息,向datanode返回指令
datanode主要职责
1 负责存储数据库
2 给客户端提供数据块读写服务
3 接受namenode指令,进行对应操作,比如删除数据块
4 向namenode通过心跳发送块信息(包括存储和缓存)
5 与其他datanode通讯,进行块的复制,实现冗余等
本节扫盲入门到此结束,欢迎各位纠正,下一节开始进行深入学习分享!