Ubuntu-22.04 Hadoop单节点集群搭建

以下内容是Hadoop单节点集群搭建，需要安装hive以及mysql的可以参考下面的文章。

步骤一：安装服务以及配置Java

sudo apt update 
sudo apt upgrade -y 
sudo apt install openjdk-8-jdk -y
测试Java：
java -version

步骤二：固定IP并且更新主机名

1、固定ip

2、设置主机名

sudo nano /etc/hostname 
# 主机名改成：master

3、配置映射

sudo nano /etc/hosts

添加以下内容：
192.168.10.136 master   #具体的以你的ip地址为主

步骤三：配置免密

1、配置免密

sudo apt install ssh
ssh-keygen -t rsa    #这里敲三下回车

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
sudo chmod 640 ~/.ssh/authorized_keys

2、启动SSH服务

sudo service ssh start

3、确认SSH配置

ssh localhost
exit

步骤四：下载并安装Hadoop-3.3.6到/home/hduser/Downloads下

1、解压Hadoop压缩包

cd /home/hduser/Downloads
tar -zxvf hadoop-3.3.6.tar.gz

2、使用以下命令将提取的文件移动到/usr/local/hadoop

sudo mv hadoop-3.3.6 /usr/local/hadoop

3、通过使用mkdir命令创建一个目录来存储日志

sudo mkdir /usr/local/hadoop/logs

4、将/usr/本地/hadoop目录的所有权更改为用户hduser

sudo chown -R hduser:hduser /usr/local/hadoop

5、对于Hadoop环境变量的配置，请使用以下命令打开.bashrc文件

sudo nano ~/.bashrc

添加以下配置：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

6、应用新的环境变量

source ~/.bashrc

步骤五：配置Java环境变量

1、添加环境变量

sudo nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

#添加以下配置：（随便找一个地方添加）
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

2、测试Hadoop

hadoop version

步骤六：配置Hadoop

（1）配置core-site.xml

sudo nano $HADOOP_HOME/etc/hadoop/core-site.xml

添加以下配置：

<configuration>
	<property> 
		<name>fs.default.name</name> 
		<value>hdfs://master:9000</value> 
	</property>
</configuration>

使用以下命令创建一个要存储节点元数据的目录：

sudo mkdir -p /home/hadoop/hdfs/{namenode,datanode}
sudo chown -R hduser:hduser /home/hadoop/hdfs

（2）配置hdfs-site.xml

sudo nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

添加以下配置：

<configuration>
	<property> 
		<name>dfs.replication</name> 
		<value>1</value> 
	</property> 
	<property> 
		<name>dfs.name.dir</name> 
		<value>file:///home/hadoop/hdfs/namenode</value> 
	</property> 
	<property> 
		<name>dfs.data.dir</name> 
		<value>file:///home/hadoop/hdfs/datanode</value> 
	</property>
</configuration>

（3）配置mapred-site.xml

sudo nano $HADOOP_HOME/etc/hadoop/mapred-site.xml

添加以下配置：

<configuration>
	<property> 
		<name>mapreduce.framework.name</name> 
		<value>yarn</value> 
	</property>
</configuration>

（4）配置yarn-site.xml

sudo nano $HADOOP_HOME/etc/hadoop/yarn-site.xml

添加以下配置：

<configuration>
	<property> 
		<name>yarn.nodemanager.aux-services</name> 
		<value>mapreduce_shuffle</value> 
	</property>
</configuration>

格式化集群：

hdfs namenode -format

步骤七：启动Hadoop

cd /usr/local/hadoop/sbin
start-dfs.sh
start-yarn.sh

或者使用以下代码启动集群

start-all.sh

查看集群：

jps

结果如下：

3250 SecondaryNameNode
3445 ResourceManager
3958 Jps
3575 NodeManager
3052 DataNode
2895 NameNode

步骤八：访问Namenode

http://master:9870

步骤九：访问Hadoop资源管理器

http://master:8088

步骤十：完成后关闭集群并关闭虚拟机

stop-all.sh     #关闭所有集群
sudo shutdown now   #关闭虚拟机

其他文章

Ubuntu-22.04虚拟机安装

Ubuntu22.04系统Hadoop集群搭建