伪分布集群部署Hadoop

Linux 专栏收录该内容
9 篇文章 0 订阅

1、基础环境安装

(1)静态ip设置

https://blog.csdn.net/weixin_40612128/article/details/119007776

(2)主机名设置

https://blog.csdn.net/weixin_40612128/article/details/119008039?spm=1001.2014.3001.5501

(3)jdk安装

https://blog.csdn.net/weixin_40612128/article/details/119007401?spm=1001.2014.3001.5501

(4)防火墙设置:关闭防火墙

https://blog.csdn.net/weixin_40612128/article/details/107575374?spm=1001.2014.3001.5501

(5)ssh免登陆设置

https://blog.csdn.net/weixin_40612128/article/details/119008155?spm=1001.2014.3001.5501

2、Hadoop安装

hadoop3.2.0下载地址:
链接:https://pan.baidu.com/s/1_pReniVNytsMNTxVxpCFBg
提取码:3p28

也可以去官网自己下载:

https://hadoop.apache.org/

国内镜像地址:

http://mirror.bit.edu.cn/apache/
https://mirrors.tuna.tsinghua.edu.cn/apache

(1)上传解压安装包

将安装包上传到/data/soft目录,然后进行解压
在这里插入图片描述
进行解压

tar -zxvf hadoop-3.2.0.tar.gz

如下,就解压好了。
在这里插入图片描述

(2)配置环境变量

vi /etc/profile

配置如下:

export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_HOME=/data/soft/hadoop-3.2.0
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

source 一下环境变量文件

source /etc/profile

(3)修改hadoop相关配置文件

修改 /data/soft/hadoop-3.2.0/etc/hadoop/ 目录下6个配置文件

cd /data/soft/hadoop-3.2.0/etc/hadoop/

1)hadoop-env.sh

vi hadoop-env.sh

添加如下配置:

export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop

2)core-site.xml

vi core-site.xml

添加如下配置:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
   </property>
</configuration>

3)hdfs-site.xml

vi hdfs-site.xml

添加如下配置:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4)mapred-site.xml

vi mapred-site.xml

添加如下配置:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5)yarn-site.xml

vi yarn-site.xml

添加如下配置:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
   <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

6)workers

vi workers

添加如下配置:

bigdata01

修改 /data/soft/hadoop-3.2.0/sbin 目录下4个配置文件

cd /data/soft/hadoop-3.2.0/sbin

7)start-dfs.sh

vi start-dfs.sh

添加如下配置:

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

8)stop-dfs.sh

vi stop-dfs.sh

添加如下配置:

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

9)start-yan.sh

vi start-yarn.sh

添加如下配置:

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

10)stop-yan.sh

vi stop-yarn.sh

添加如下配置:

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

(4)格式化HDFS

cd /data/soft/hadoop-3.2.0

bin/hdfs namenode -format

如下,说明格式化成功!

在这里插入图片描述

(6)启动hadoop伪分布集群

cd /data/soft/hadoop-3.2.0

sbin/start-all.sh

如下,说明集群启动成功!
在这里插入图片描述

(7)进行验证

http://192.168.113.100:8088/cluster

在这里插入图片描述

http://192.168.113.100:9870/dfshealth.html#tab-overview

在这里插入图片描述
如上,说明伪分布hadoop集群安装成功!

(8)停止集群

sbin/stop-all.sh

在这里插入图片描述

  • 0
    点赞
  • 1
    评论
  • 0
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页

打赏作者

搬砖农名工

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值