hadoop3 集群搭建

1 环境准备

hadoop1 192.168.38.150 jdk1.8
hadoop2 192.168.38.151 jdk1.8
hadoop3 192.168.38.152 jdk1.8

2 环境准备

#3台
yum install ssh pdsh

#修改host
vim /etc/hosts

192.168.38.150 hadoop1
192.168.38.151 hadoop2
192.168.38.152 hadoop3

#修改主机名
hostnamectl set-hostname hadoop1
hostnamectl set-hostname hadoop2
hostnamectl set-hostname hadoop3

3 集群规划

在这里插入图片描述

4 解压配置环境变量

#3台解压
tar -zxvf hadoop-3.1.3.tar.gz

#3台配置环境变量
vim /etc/profile

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_HOME=/usr/local/hadoop-3.1.3
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

#查看是否配置成功
hadoop version

在这里插入图片描述

5 免密登录

#hadoop 1
ssh-keygen -t rsa

ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

#hadoop 2
ssh-keygen -t rsa

ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

#hadoop 3
ssh-keygen -t rsa

ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

6 配置core-site.xml

#3台
cd /usr/local/hadoop-3.1.3/etc/hadoop

vim core-site.xml

<configuration>

        <!-- 指定 NameNode 的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:8020</value>
        </property>
        <!-- 指定 hadoop 数据的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop-3.1.3/data</value>
        </property>

</configuration>


7 配置hdfs-site.xml

#3台
vim hdfs-site.xml

<configuration>

        <!-- NameNode web 端访问地址-->
        <property>
                <name>dfs.namenode.http-address</name>
                <value>hadoop1:9870</value>
        </property>
        <!-- SecondNameNode web 端访问地址-->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop3:9868</value>
        </property>


</configuration>

8 配置yarn-site.xml

#3台
vim yarn-site.xml

<configuration>

				<!-- Site specific YARN configuration properties -->

        <!-- 指定 MR 走 shuffle -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定 ResourceManager 的地址-->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop2</value>
        </property>

</configuration>

9 配置 mapred-site.xml

#3台
vim mapred-site.xml


<configuration>

        <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
			  <property>
							  <name>yarn.app.mapreduce.am.env</name>
							  <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
				</property>
        <property>
                  <name>mapreduce.map.env</name>
                  <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
        </property>
        <property>
                  <name>mapreduce.reduce.env</name>
                  <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
        </property>

</configuration>

10 配置workers

#3台
vim workers

hadoop1
hadoop2
hadoop3

11 配置JAVA_HOME HADOOP_CONF_DIR

#3台
vim hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_CONF_DIR=/usr/local/hadoop-3.1.3/etc/hadoop

12 启动NameNode集群

#hadoop1 初始化(第一次需要初始化)
hdfs namenode -format

#hadoop01 启动集群
start-dfs.sh

#访问页面
http://192.168.38.150:9870/

在这里插入图片描述
在这里插入图片描述

13 启动Yarn

## hadoop2上启动
start-yarn.sh
## 查看yarn
http://hadoop2:8088/

在这里插入图片描述
在这里插入图片描述

14 检查

jps

在这里插入图片描述

15 集群基本测试

#创建目录
hadoop fs -mkdir /wcinput
#上传小文件
hadoop fs -put ./word.txt  /wcinput

#执行wordcount
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput

在这里插入图片描述
在这里插入图片描述

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

响彻天堂丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值