ellen艾琳的博客

学习、记录

HDFS

1、HDFS:Hadoop Distributed File System,基于Google’s GFS (Google File System)

2、HDFS块:当一个文件被添加到HDFS上时,它被分割成块。这是一个与本地文件系统相似的概念。默认块大小64M/128M(可配置)。配置文件是:vi /etc/hadoop/conf/hdfs-site.xml 。配置参数是:dfs.blocksize

3、HDFS喜欢更少、更大的文件。以减少元数据

4、每个HDFS块被存储在整个集群的多个不同节点上做冗余,每个块默认冗余3份。又叫复制因子数,可以修改。配置文件是:vi /etc/hadoop/conf/hdfs-site.xml 。配置参数是:dfs.replication。

5、HDFS块复制策略

1)块的第一个副本被放置在与客户机相同的节点上.如果客户端不是群集的一部分,则将第一个块放置在随机节点上。系统试图找到一个不太忙的

2)块的第二个副本被放置在位于不同机架上的节点上

3)块的第三个副本被放置在与第二个副本同一机架上的不同节点上


阅读更多
个人分类: 大数据
上一篇HBase Table
下一篇HBase namespace
想对作者说点什么? 我来说一句

HDFS原理图

2017年02月17日 112KB 下载

native编译好的.zip

2017年12月26日 5.65MB 下载

HDFS FS API

2017年06月07日 190KB 下载

分布式存储系统——HDFS

2014年01月14日 12.78MB 下载

hdfs文件传输调优

2014年05月20日 45KB 下载

HDFS资料整理.pdf

2017年09月07日 485KB 下载

hdfs吞吐调优

2014年05月20日 14KB 下载

hadoop中HDFS文件基本操作

2013年10月10日 23KB 下载

Hadoop 培训课程(2)HDFS

2014年05月07日 999KB 下载

HDFS文件的查看

2017年05月21日 543B 下载

没有更多推荐了,返回首页

关闭
关闭