Hadoop-3.3.6伪分布式集群搭建

最新推荐文章于 2024-09-13 10:53:43 发布

-ikL1122

最新推荐文章于 2024-09-13 10:53:43 发布

阅读量772

点赞数 4

文章标签：分布式 hadoop eclipse

本文链接：https://blog.csdn.net/m0_62929925/article/details/132739763

版权

一、软件版本

jdk：1.8.0_211
hadoop：3.3.6
操作系统：centos7

二、配置jdk环境变量

1.解压jdk

可以利用Xshell7和Xftp7解压jdk到/usr/local/src目录下，在Xshell7中打开Xftp7

在Xftp7中打开所要压缩的安装包

双击即传输到右侧框架中，前提是Xshell已经连接上centos7主机

在Xshell解压jdk
[root@ljl ~]# tar -zxvf jdk-8u211-linux-x64.tar.gz -C /usr/local/src
ls查看/usr/local/src目录下内容

2、修改/etc/profile文件

打开终端，执行命令 vim /etc/profile,按Insert键在文件末尾插入以下内容：

export JAVA_HOME=/usr/local/src/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin

#按esc键+Shift+：输入wq保存退出

退出编辑后终端输入 source /etc/profile #刷新环境变量

java -version #测试环境变量是否配置成功

三、配置Hadoop环境变量

1、解压hadoop-3.3.6

同jdk操作步骤
tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local/src
ls 查看/usr/local/src

2、修改/etc/profile文件

打开终端，执行命令 vim /etc/profile,按Insert键在文件末尾插入以下内容：

export HADOOP_HOME=/usr/local/src/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效环境变量：

source /etc/profile

hadoop version

出现以下内容说明配置成功

3、关闭防火墙，关闭防火墙开机自启

systemctl stop firewalld

systemctl disable firewalld

4、配置免密登录

执行ssh-keygen -t rsa，一直空格，出现以下内容

5、公钥复制到节点

ssh-copy-id ljl

6、测试免密登录是否配置成功

ssh ljl

四、配置伪分布式集群

1、进入hadoop所在配置文件目录，在此目录打开终端

cd /usr/local/src/hadoop-3.3.6/etc/hadoop

2、配置hadoop-env.sh文件

执行命令 vim hadoop-env.sh,在文件这种添加以下代码：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export JAVA_HOME=/usr/local/src/jdk1.8.0_211 #改成自己的路径
HADOOP_SHELL_EXECNAME=root

3、修改core-site.xml

执行命令：vim core-site.xml,在文件中添加如图所示代码：

<property>
			
   <name>fs.defaultFS</name>
   <value>hdfs://192.168.10.100:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>file:/usr/local/src/hadoop-3.3.6/tmp</value>
</property>

4、修改hdfs-site.xml

执行命令：vim hdfs-stie.xml，添加如下代码：

<property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/src/hadoop-3.3.6/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/src/hadoop-3.3.6/hdfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

5、修改mapred-site.xml

执行命令：vim mapred-stie.xml，添加如下代码

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>ljl</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

6、修改workers文件