本文介绍了Hadoop分布式文件系统的工作原理，包括NameNode和DataNode的角色，以及高容错性的实现方式。通过Docker进行Hadoop单机部署的步骤详细展开，包括启动、运行MapReduce任务及查看HDFS信息。在部署过程中遇到的问题和解决方法也被提及。
Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商品硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异很大。HDFS具有高度容错能力，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。
HDFS是主/从架构。一个HDFS集群保护一个NameNode,一个主服务器，还有多个DataNode。NameNode负责文件系统命名空间操作，如打开，关闭和重命名文件，目录。还维护块到DataNode的映射。DataNode通常是一个节点一个，用来管理他们运行的节点的存储，DataNode还负责文件系统客户端的读写请求，块的创建删除。大致流程如下：
每个文件在写入都会存储为一系列的块，而且块还会被复制以实现容错（其实elasticsearch也差不多，数据被分词器拆分后还会做分片，1个主分配，4个副本分片来容错）。namenode还会定时收集DataNode发来的Heartbeat和Blockreport。收
最低0.47元/天 解锁文章
5303
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
