本文介绍了Hadoop分布式文件系统HDFS的架构，包括NameNode和DataNode的角色，以及数据备份策略。HDFS采用master/slave结构，NameNode负责文件系统命名空间管理和数据访问控制，DataNode则存储数据并执行NameNode的指令。数据备份通过replication实现，通常设置为3份，分布在不同机架。通信协议主要涉及ClientProtocol和DataNode Protocol，所有通信基于TCP。HDFS提供FileSystem Java API和命令行工具进行文件操作。
对于框架/工具来说，最好的学习和参考来源还是官网。
链接：https://hadoop.apache.org/docs/r3.2.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Introduction
HDFS:Hadoop 分布式文件系统，用于为有大量数据集的application提供高速数据访问，将数据以高容错的方式部署在众多廉价机器组成的集群上。
HDFS架构
HDFS的架构为 master/slave 结构(architecture)，master以NameNode表示,slave以DataNode表示。
NameNode
NameNode是一个主服务器(master server),用于管理文件系统空间( file system namespace)与客户端(client)对这些文件的访问。
DataNode
DataNode是从属节点，通常集群上的一台机器为一个节点，属于slave的为DataNode,用于管理分配到该节点上的数据。
HDFS对外暴露一个文件系统空间，让使用者以文件的形式存储数据，一个文件会被分割成多个块(block)存储在不同的DataNode,而NameNode用于管理和操作这个文件系统空间，执行诸如读写文件这样的操作，同时NameNode也管理block如何分配到DataNode。NameNode响应cli
最低0.47元/天 解锁文章
2268
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
