HDFS
L.ZZ
这个作者很懒,什么都没留下…
展开
-
HDFS原理初探
1. HDFS简介HDFS:Hadoop Distributed File System(hadoop分布式文件系统)分布式,感觉好厉害的样子啊,有网络文件系统,有本地文件系统,现在又多了一个分布式的文件系统。之所以是要分布式,是数据要放到多个主机上面去。放的东西在集群中,就是分布式啦!想要了解这个东东,先找一张原理图瞅瞅。2. HDFS 1.0每个一学习的模块要搞懂一个点内容,学完这...转载 2019-02-27 14:14:19 · 164 阅读 · 0 评论 -
HDFS负载均衡
1. 前言HDFS的数据可能并不总是被均匀的置于所有的DataNode中,最常见的原因是向一个已经存在的集群添加一个新的节点。当放置新的块时(块:一个文件的数据会被存储为一系列的块)。NameNode 在选择DataNode节点存储这些块之前会考虑多方面参数。一些注意事项如下:策略保证一个块的其中之一个副本在同一个节点(这个节点是块写的节点)需要将一个块的副本分配到不同的机架上 ,这样可以...转载 2019-02-27 14:14:26 · 1126 阅读 · 0 评论 -
通过命令来查看HDFS集群NameNode的状态
1. 概述hadoop2.2.0(HA)中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态,另一个处于随时待命状态。这样,当一个NameNode所在的服务器宕机时,可以在数据不丢失的情况下,手工或者自动切换到另一个NameNode提供服务。这些NameNode之间通过共享数据,保证数据的状态一致。多个NameNode之间共享数据,可以通过Nnetwork File ...转载 2019-02-27 11:20:59 · 10560 阅读 · 1 评论 -
HDFS的读写原理
1. 简介HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点:保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。运行在廉价的机器上。适合大数据的处理。多大?多小?HDFS默认会...转载 2019-02-27 14:14:03 · 4339 阅读 · 0 评论