Hadoop伪分布式部署的详细操作

最新推荐文章于 2024-08-28 21:56:33 发布

2301_76934422

最新推荐文章于 2024-08-28 21:56:33 发布

阅读量548

点赞数 9

文章标签：分布式 hadoop 大数据

本文链接：https://blog.csdn.net/2301_76934422/article/details/140430918

版权

实验工具/软件

VMware workstation 16 pro, hadoop虚拟机，MobaXterm

详细操作

前提：环境准备：

确保Linux操作系统已经安装并配置好Java环境。

下载Hadoop安装包并解压。

配置免密登录：

为了方便NameNode和DataNode之间的通信，需要配置SSH免密登录。

1. 上传Hadoop安装包

在虚拟机的/export/software目录执行“rz”,将本地计算机中准备好的Hadoop安装包hadoop-3.3.0.tar.gz上传到虚拟机的/export/software目录

2.创建目录

在虚拟机机的/export/serves目录创建wfb-hadoop目录，该目录用于存放基于伪分布式模式部署Hadoop的安装目录，具体命令如下：

$ mkdir -p /export/servers/wfb-hadoop

3.安装Hadoop

以解压缩的方式安装Hadoop，将Hadoop安装到/export/servers/wfb-hadoop目录，具体命令如下：

$ tar -zxvf /export/software/Hadoop-3.3.0.tar.gz -C /export/servers/wfb-hadoop

hadoop安装成功后，进入Hadoop的安装目录/export/servers/wfb-hadoop-3.3.0,在该目录执行“ll”命令查看Hadoop安装目录中的所有文件

验证Hadoop是否安装成功

在基于伪分布模式部署Hadoop的安装目录执行“bin/Hadoop version”命令查看Hadoop的版本号，验证当前虚拟机是否成功安装Hadoop。

修改Hadoop配置文件

配置Hadoop运行时的环境

在Hadoop安装目录下的/etc/Hadoop/目录执行“vi Hadoop-env.sh”命令，在hadoop-env.sh文件的底部添加如下内容。

配置Hadoop。在Hadoop安装目录下的/etc/Hadoop/目录执行“vi core-site.xml”命令，在core-site.xml文件的<configuration>标签中添加如下内容。

配置HDFS。在Hadoop安装目录下的/etc/Hadoop/目录执行“vi hdfs-site.xml”命令，在hdfs-site.xml文件的<configuration>标签中添加如下内容。

配置MapReduce。在在Hadoop安装目录下的/etc/Hadoop/目录执行“vi mapred-site.xml”命令，在mapred -site.xml文件的<configuration>标签中添加如下内容：

配置YARN。在Hadoop安装目录下的/etc/Hadoop/目录执行“vi yarn-site.xml”命令，在yarn -site.xml文件的<configuration>标签中添加如下内容。

（6）在Hadoop安装目录下的/etc/Hadoop/目录执行“vi workers”命令，配置Hadoop从节点运行的服务器，将workers文件的默认内容改为Hadoop1。

注意：配置文件一定要正确，如果有错误，会影响后期进程的。

格式化HDFS文件系统

初次启用Hadoop之前，需要先对HDFS文件系统进行格式化操作，在Hadoop安装目录执行如下命令，来格式化HDFS文件系统。

$ bin/hdfs namenode -format

上面命令执行完成后，会出现“successfully formatted”的提示信息，说明格式化成功。

注意：格式化HDFS文件系统的操作只在初次启动Hadoop集群之前进行，如果后续再次启动Hadoop集群，则不需要重新格式话化。

启动Hadoop

这里的启动Hadoop包括HDFS和启用YARN，可以通过Hadoop提供的一键启动脚本start-dfs.sh和start-yarn.sh分别启动HDFS和YARN，这两个脚本文件位于Hadoop安装目录下的/sbin目录。在Hadoop的安装目录执行如下命令，来启动HDFS和YARN。

#启动HDFS

$ sbin/start-dfs.sh

#启动YARN

$ sbin/start-yarn.sh