在HDFS中,一个文件会被拆分为一个或多个数据块
默认情况下,每个数据块都会有三个副本
每个副本都会被存放在不同的机器上,而且每一个副本都有自己唯一的编号
- 如下图
===========================================================================
NameNode节点选择一个DataNode节点去存储block副本得过程就叫做副本存放,这个过程的策略其实就是在可靠性和读写带宽间得权衡。
《Hadoop权威指南》中的默认方式:
-
第一个副本会随机选择,但是不会选择存储过满的节点。
-
第二个副本放在和第一个副本不同且随机选择的机架上。
-
第三个和第二个放在同一个机架上的不同节点上。
-
剩余的副本就完全随机节点了
-
可靠性:block存储在两个机架上
-
写带宽:写操作仅仅穿过一个网络交换机
-
读操作:选择其中得一个机架去读
-
block分布在整个集群上
============================================================================
5.1 官方安装文档地址
-
Mac OS 10.14.4
-
JDK1.8
-
Hadoop 2.6.0-cdh5.7.0
-
ssh
-
rsync
下载Hadoop 2.6.0-cdh5.7.0
的tar.gz包并解压:
MacOS安装环境
设置 JAVA_HOME
- 添加java_home到.bash_profile文件中
export JAVA_HOME=$(/usr/libexec/java_home)
export PATH= J A