2024年最全Hadoop集群搭建(1)，大数据开发工程师的面试题

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

mv jdk1.8.0-3 /usr/lib/jvm/jdk8

需要配置一下 JAVA_HOME 环境变量，在 /etc/profile 中进行设置。

vi /etc/profile

文件末尾追加如下配置

export JAVA_HOME=/usr/lib/jvm/jdk8

export PATH=$JAVA\_HOME/bin:$PATH

export CLASSPATH=.:$JAVA\_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

编辑完成后，需要执行以下命令让其生效

source /etc/profile

克隆虚拟机

——在此我只克隆了一个虚拟机，因为设置Hadoop集群暂且只需克隆一个，如有需要可以根据需求多克隆几个，后面步骤带有克隆的虚拟机的多做一个虚拟机的操作即可

首先先关闭虚拟机Master，再选中Master右键选择设置-克隆

名称和位置自己改变

修改主机名

vi /etc/hostname

增加主机名到文件中，然后重启服务器

注意！两个虚拟机都需要增加对应的主机名

#localhost.localdomain

master

关闭防火墙

systemctl stop firewalld.service   关闭防火墙

firewall-cmd --state       检查是否关闭了

免密登陆服务器

——实现免密登录前提是另一个虚拟机得开启，且防火墙关闭，如果完成此步骤之后不能成功免密登录可以看看是否是这两个原因

在/etc/hosts文件中配置ip对应主机

IP地址   master

IP地址    node1

生成秘钥

ssh-keygen -t rsa -P “”  //生成密钥的命令

//回车后会显示以下内容，切记一路回车别输入然后东西！！！

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Created directory ‘/root/.ssh’.

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

SHA256:AtZHQcFd10Qth+HXMib4saDzZhtYJBkS5VEyH04RiNM root@d23abd7ce7a9

The key’s randomart image is:       //密钥

±–[RSA 2048]----+

|      oB@**+. o*+|

|     .o+EX.o oo =|

|    o …= * o =oo|

|   . . . + o = + |

|      . S . o    |

|       . =       |

|        . =      |

|         o o     |

|          .      |

±—[SHA256]-----+

//再输入以下命令

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将PermitRootLogin yes、PubkeyAuthentication yes的注释去掉，就是把前面的#删掉

sh-4.2# vim /etc/ssh/sshd_config

sh-4.2# systemctl enable sshd.service

sh-4.2# systemctl start sshd.service

再输入以下命令，做就完了

cd  $HOME/.ssh/

chmod 600 authorized_keys

ssh localhost

scp -r ~/.ssh root@node1:~/    //这的node1是我的克隆虚拟机的主机名，换成自己的

免密登录验证

ssh node1

成功！

配置Hadoop

——此代码在我的机器上是可以成功，但是也有他人按照此代码失败的情况，如果失败可以寻找其他的代码来尝试配置

将hadoop的安装包上传到服务器

tar解压安装包

[root@master tools]# tar -xvf hadoop-3.2.3.tar.gz  //hadoop文件名按照自己的来

[root@master tools]# mv hadoop-3.2.3 /usr/local/hadoop3  //移动解压后的Hadoop文件到/usr/local/hadoop3目录下

修改master节点上的hadoop配置文件，修改配置文件/etc/profile，文末加入以下配置

export HADOOP_HOME=/usr/local/hadoop3    //路径为上一步转移的目录

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_PREFIX=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_CONF_DIR=$HADOOP_HOME

export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec

export JAVA_LIBRARY_PATH=$HADOOP\_HOME/lib/native:$JAVA_LIBRARY_PATH

export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop

export HDFS_DATANODE_USER=root

export HDFS_DATANODE_SECURE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_NAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

通过source命令将配置生效

source /etc/profile

查看是否设定好了环境变量

echo $HADOOP_HOME

显示为/etc/profile文件中的HADOOP_HOME位置

修改hadoop-env.sh等文件

[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/yarn-env.sh

[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/mapred-env.sh

文末添加jdk的安装路径

增加node1的信息（自己克隆的虚拟机名称）

vi $HADOOP_HOME/etc/hadoop/workers

添加内容：node1

把以下文件的configuration修改为如下内容：

vim $HADOOP_HOME/etc/hadoop/core-site.xml

fs.defaultFS

hdfs://master:9000

hadoop.tmp.dir

/home/hadoop/tmp

io.file.buffer.size

131702

hadoop.http.staticuser.user

root

vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

dfs.namenode.name.dir

file:/home/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/home/hadoop/tmp/dfs/data

dfs.replication

3

dfs.namenode.http-address

master:50070

NameNode address and port

dfs.namenode.secondary.http-address

master:50090

Secondary NameNode address and port

dfs.webhdfs.enabled

true

dfs.stream-buffer-size

131072

dfs.namenode.checkpoint.dir

file:/home/hadoop/tmp/dfs/namesecondary

vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

master:10020

mapreduce.jobtracker.address

master:9001

mapreduce.jobhistory.webapp.address

master:19888

mapreduce.application.classpath

/usr/local/hadoop3/etc/hadoop,

/usr/local/hadoop3/share/hadoop/common/*,

/usr/local/hadoop3/share/hadoop/common/lib/*,

/usr/local/hadoop3/share/hadoop/hdfs/*,

/usr/local/hadoop3/share/hadoop/hdfs/lib/*,

/usr/local/hadoop3/share/hadoop/mapreduce/*,

/usr/local/hadoop3/share/hadoop/mapreduce/lib/*,

/usr/local/hadoop3/share/hadoop/yarn/*,

/usr/local/hadoop3/share/hadoop/yarn/lib/*

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

/*,

/usr/local/hadoop3/share/hadoop/hdfs/lib/*,

/usr/local/hadoop3/share/hadoop/mapreduce/*,

/usr/local/hadoop3/share/hadoop/mapreduce/lib/*,

/usr/local/hadoop3/share/hadoop/yarn/*,

/usr/local/hadoop3/share/hadoop/yarn/lib/*

[外链图片转存中…(img-JWbildXh-1715631247636)]
[外链图片转存中…(img-vSedfJgp-1715631247636)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！