HDFS伪分布式环境搭建

在HDFS中，一个文件会被拆分为一个或多个数据块

默认情况下，每个数据块都会有三个副本

每个副本都会被存放在不同的机器上，而且每一个副本都有自己唯一的编号

• 如下图

4 HDFS 副本存放策略

===========================================================================

NameNode节点选择一个DataNode节点去存储block副本得过程就叫做副本存放，这个过程的策略其实就是在可靠性和读写带宽间得权衡。

《Hadoop权威指南》中的默认方式：

• 第一个副本会随机选择，但是不会选择存储过满的节点。

• 第二个副本放在和第一个副本不同且随机选择的机架上。

• 第三个和第二个放在同一个机架上的不同节点上。

• 剩余的副本就完全随机节点了

可以看出这个方案比较合理

---

• 可靠性：block存储在两个机架上

• 写带宽：写操作仅仅穿过一个网络交换机

• 读操作：选择其中得一个机架去读

• block分布在整个集群上

5 HDFS伪分布式环境搭建

============================================================================

5.1 官方安装文档地址

---

5.2 环境参数

---

• Mac OS 10.14.4

• JDK1.8

• Hadoop 2.6.0-cdh5.7.0

• ssh

• rsync

下载Hadoop 2.6.0-cdh5.7.0的tar.gz包并解压：

MacOS安装环境

设置 JAVA_HOME

• 添加java_home到.bash_profile文件中

export JAVA_HOME=$(/usr/libexec/java_home)

export PATH= J A