HDFS集群的搭建

搭建集群的首先要明白一个问题: 角色=进程

• 搭建集群的模式有三种:
  1. 伪分布式 在一台服务器,启动多个进程,分别表示各个角色
  2. 完全分布式: 在多台服务器上,每台服务器启动不同的角色进程,这些服务器组成HDFS集群
  3. 高可用的完全分布式:
     1. 涉及到NameNode负载过重可能崩溃的问题,将NameNode建立一个备胎以提高其可用性
• 集群搭建步骤
  • 伪分布式集群搭建方法:

1.配置免密登陆:(node01为主机名称)

1.1.生成公钥,拷贝到该路径下

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-copy-id -i ~/.ssh/id_dsa.pub root@node01

2.配置JDK

export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin

3.配置Hadoop环境变量:同上

4.修改hdfs-site.xml配置文件 和

<property>

    <name>dfs.replication</n