![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS架构详解
NobiGo
这个作者很懒,什么都没留下…
展开
-
HDFS架构详解
分布式文件系统物理层存储的分布式。基于客户机/服务器模式:通常一个分布式文件系统提供多个供用户访问的服务器。通常情况下,会具有备份和容错的功能。 hdfs默认备份3份,如果数据丢失,hdfs会根据其他备份进行恢复。通常情况下都基于操作系统的本地文件系统:-ext3,ext4。分布式文件系统的优点:传统文件系统最大的问题就是容量和吞吐量的限制。多用户多应用的并行读写是分布式文件系统的产生原创 2016-09-10 22:56:37 · 953 阅读 · 0 评论 -
HDFS之DataNode动态添加与卸载
动态添加一个DataNode集群扩容需要添加新DataNode,通常是在需要增加存储的情况下,虽然有时也是为了增加IO总带宽或减小单台机器失效的影响。在运行中的HDFS集群上增加新的DataNode是一个在线操作或热操作。对于要使用HDFS主机及功能的用户,新主机的IP地址必须添加到include文件中,但主机列表可以动态更新而无需重新启动NameNode。把DataNode的IP地址加入dfs.原创 2017-06-05 00:30:37 · 3437 阅读 · 1 评论 -
HDFS高可用实现细节
NameNode 高可用整体架构概述在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问,同时 Hadoop 生态系统中依赖于 HDFS 的各个组件,包括原创 2017-06-08 10:03:46 · 2061 阅读 · 7 评论