HDFS
初心江湖路
多学一分增一分。
展开
-
详解HDFS Short Circuit Local Reads
详解HDFS Short Circuit Local ReadsHadoop的一大基本原则是移动计算的开销要比移动数据的开销小。因此,Hadoop通常是尽量移动计算到拥有数据的节点上。这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上,也就造成了很多“Local Reads”。最初设计的时候,这种Local Reads和Remote Rea...转载 2019-12-23 21:55:08 · 604 阅读 · 0 评论 -
HDFS读写-源码调用逻辑梳理
读FileSystem fileSystem = FileSystem.get(new Configuration());FSDataInputStream fsDataInputStream = fileSystem.open(fileStatus.getPath());BufferedReader bufferedReader = new BufferedReader(new Input...原创 2019-11-29 14:02:49 · 330 阅读 · 0 评论 -
HDFS中的Secondary NameNode、Checkpoint Node、Backup Node作用详单
Secondary NameNode:作用:用于间歇性将NameNode EditLog记录的变化更新到Fsimage,从而限制EditLog文件的大小并保证NameNode的启动恢复时间在一定范围内(也就是不至于太久)。前边的两篇关于HDFS的文章中提到两个与NameNode相关的两个文件Fsimage和EditLog文件NameNode在启动时会读Fsimage加载HDFS所有DataN...原创 2019-11-02 14:39:14 · 1317 阅读 · 0 评论 -
HDFS-基本面貌七问答
1、HDFS是怎么存储副本的?首先,NameNode通过Hadoop Rack Awareness进程来决定每个DataNode所属的机架ID(rack id)。存储策略(1)副本因子为3:如果writer就在DataNode上,则第一个副本放在本机上,如果writer不在其中一个DataNode上,则随机选择一个DataNode存放第一个副本。第二个副本放在和第一个副本不同的机架上的一个...原创 2019-08-29 21:27:14 · 98 阅读 · 0 评论 -
HDFS如何保证高可用性
一、高可用1、实现方式NameNode冗余备份2、具体过程 多个节点作为NameNode,其中一个处于Active状态,其它处于Standby状态。目前的实现有一个条件,需要借助类似NFS这样的分布式共享存储系统,而且节点要能够访问这一系统。 在Active的namespace上的每个改变,需要同步到处于Standby状态的节点。怎么同步?Active节点会周期性的将修改做日志到一个...原创 2019-09-30 17:22:39 · 948 阅读 · 0 评论