FinalShell 配置格式化启动Hadoop集群

Hadoop集群启动分为:格式化和启动两个步骤

Hadoop的格式化:

在格式化Hadoop之前,我们首先需要将配置文件给写好。我们需要配置的Hadoop文件有:

路径:cd /opt/tage/hadoop/etc/hadoop

vim core-site.xml

注意在配置hadoop数据目录时不要将自己的路径写错。

vim mapred-site.xml

vim hdfs-site.xml

vim yarn-site.xml

vim workers

这些是我们在进行Hadoop格式化之前需要进行配置的文件,注意在配置的过程中需要细心,避免敲错字符。

Hadoop的启动

在格式化好了以后我们就可以去进行Hadoop集群的启动了

路径:cd /opt/tage/hadoop/sbin

我们首先可以通过jps来查看我们的进程

然后输入命令:

./start-dfs.sh

启动的进程有

然后输入命令:

./start-yarn.sh

启动的进程有

最后在我们的web页面上查看就可以了

地址:

ip+端口

根据提供的引用内容,finalshell是一个终端工具,用于远程连接和管理服务器。它本身并不用于安装Hadoop,但可以通过finalshell来执行Hadoop的安装命令。 要在finalshell中安装Hadoop,您需要按照以下步骤进行操作: 1. 首先,确保您已经在服务器上安装了Java Development Kit(JDK)。您可以使用以下命令检查JDK的安装情况: ```shell java -version ``` 如果未安装JDK,请根据您的操作系统下载并安装适当的JDK版本。 2. 下载Hadoop的压缩包(例如hadoop-3.3.0.tar.gz)并将其上传到服务器上的适当目录。 3. 在finalshell中打开一个终端连接到服务器。 4. 解压Hadoop压缩包。假设您将Hadoop压缩包上传到了`/opt`目录下,可以使用以下命令解压: ```shell tar -zxvf /opt/hadoop-3.3.0.tar.gz -C /opt ``` 5. 配置Hadoop环境变量。编辑`~/.bashrc`文件,并添加以下行: ```shell export HADOOP_HOME=/opt/hadoop-3.3.0 export PATH=$PATH:$HADOOP_HOME/bin ``` 6. 保存并关闭文件。然后,运行以下命令使环境变量生效: ```shell source ~/.bashrc ``` 7. 配置Hadoop的核心文件。进入Hadoop安装目录,并编辑`etc/hadoop/hadoop-env.sh`文件。找到以下行并设置正确的JDK路径: ```shell export JAVA_HOME=/path/to/jdk ``` 8. 配置Hadoop集群的其他文件,例如`etc/hadoop/core-site.xml`和`etc/hadoop/hdfs-site.xml`,根据您的需求进行相应的修改。 9. 启动Hadoop集群。使用以下命令启动Hadoop: ```shell start-dfs.sh start-yarn.sh ``` 现在,您已经成功地使用finalshell安装了Hadoop。您可以使用Hadoop命令行工具进行进一步的配置和管理。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值