HDFS_03_Hadoop3完全分布式搭建​

HDFS_03_Hadoop3完全分布式搭建​

持续更新大数据文章 …

重点！！！如果搭建环境搭建失败，那是因为初始环境没统一，您可以私信我解决，或者仔细查看我 Linux 专区环境搭建文章！Hdoop环境搭建是学习大数据的基础，一定要搭建起来！

1. Hadoop3完全分布式搭建​ ⭐️

学习 HDFS 之前，必须要把 Hadoop3 完全分布式环境搭建起来！

1.1 环境介绍

• 前提是 node01、node02、node03 相互免密钥，如何免密要钥前面 Linux 相关文章！

• JDK为1.8

• 如果环境搭建失败欢迎私信我，我将会尽力帮您解决…

1.2 安装步骤

1、准备安装环境

上传资源到 node01 节点

[root@node01 ~]# tar -zxvf hadoop-3.1.2.tar.gz
[root@node01 ~]# mkdir -p /opt/huobron
[root@node02 ~]# mkdir -p /opt/huobron
[root@node02 ~]# mkdir -p /opt/huobron
[root@node01 ~]# mv hadoop-3.1.2 /opt/huoborn/
[root@node01 ~]# cd /opt/huoborn/hadoop-3.1.2/etc/hadoop/

2、修改集群环境

[root@node01 hadoop]# vim hadoop-env.sh

##### 进入文件之后，在后面加入以下内容 #####
export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

3、修改配置文件

第一个配置文件 core-site.xml

[root@node01 hadoop]# vim core-site.xml

##### 在对应位置添加以下内容 #####
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/huoborn/hadoop/full</value>
</property>

第二个配置文件 hdfs-site.xml

[root@node01 hadoop]# vim hdfs-site.xml

##### 在对应位置添加以下内容 #####
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node02:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>node02:50091</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

第三个配置文件 workers

[root@node01 hadoop]# vim workers

node01
node02
node03

4、拷贝分发软件

[root@node02 ~]# scp -r root@node01:/opt/huoborn/hadoop-3.1.2 /opt/huoborn/
[root@node03 ~]# scp -r root@node01:/opt/huoborn/hadoop-3.1.2 /opt/huoborn/

5、修改环境变量

对 node01 进行以下操作：

[root@node01 hadoop]# vim /etc/profile

##### 在末尾位置添加以下内容 #####
export HADOOP_HOME=/opt/huoborn/hadoop-3.1.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

[root@node01 hadoop]# source /etc/profile

对 node02 进行以下操作：

[root@node02 hadoop]# vim /etc/profile

##### 在末尾位置添加以下内容 #####
export HADOOP_HOME=/opt/huoborn/hadoop-3.1.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

[root@node02 hadoop]# source /etc/profile

对 node03 进行以下操作：

[root@node03 hadoop]# vim /etc/profile

##### 在末尾位置添加以下内容 #####
export HADOOP_HOME=/opt/huoborn/hadoop-3.1.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

[root@node03 hadoop]# source /etc/profile

6、格式化NameNode

只能执行一次，否则要删除很多东西！

[root@node01 huoborn]# hdfs namenode -format

7、启动服务

如果已经相互免密钥，那么只需要对node01输入以下命令即可，如果没有免密钥，就需要对所有虚拟机节点进行以下启动服务操作！

[root@node01 huoborn]# start-dfs.sh

8、测试集群

浏览器输入：http://node01:9870 ，把 node01换成node01对应的 IP 地址！

出现以上页面表示搭建成功！

下期讲解 HDFS_04_Hadoop集群命令......