linux安装JDK和Hadoop

本文详细介绍了如何在虚拟机环境中安装JDK和Hadoop,包括上传安装包、解压、同步目录到其他节点等步骤,强调了统一工作路径的重要性以及在安装过程中的一些注意事项,如安装rz命令以方便文件传输,以及为何暂不分发Hadoop以优化配置效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

前面我们实现了虚拟机的安装,也为每个节点配置的网络,使其能上网。但这样还远不能让集群进行工作,因为我们并没有为每个节点安装hadoop软件,又怎么使用它所提供的服务呢?下载完软件后,如何让虚拟机找到hadoop路径等?本篇将讲述如何安装jdk和hadoop。

一、安装JDK和Hadoop

由于hadoop软件是由java编写而成,所以系统需要jdk环境去理解软件内部的操作,也就是需要我们自己下载安装JDK,才正常使用Hadoop。
安装步骤
1、上传本地安装包到虚拟机
2、解压安装包
3、为安装后的服务文件进行重命名(非必须)

1、建立工作路径

建立统一的工作路径,能方便节点之间传输文件和环境配置。

#建立目录

mkdir -p /export/servers   
mkdir -p /export/data

#同步目录到其它节点

scp -r /export root@192.168.126.12:/
scp -r /export root@192.168.126.13:/

注意:

  1. 用scp命令传输的目录,其底下必须是有内容的;
  2. 192.168.126.12 和 192.168.126.13 是我node1和node2的ip地址。

2、开始安装

1)安装rz命令

yum -y install lrzsz  

补充:一个能在xshell上直接上传本地文件的命令,如果有rz命令了,忽略这一步。

2)上传安装包路径

cd /export/software
rz	

rz 选择安装包,等待传输完毕
在这里插入图片描述

3)解压

tar -zxvf jdk-8u241-linux-x64.tar.gz
tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz  

补充:此命令需在root用户下进行,以保证权限
在这里插入图片描述
另外,你可以选择删除.gz包,释放它们所占的空间,也可以选择保留下来。

4)同步服务

#jdk
scp -r jdk1.8.0_241/ root@192.168.126.12:/export/servers/
scp -r jdk1.8.0_241/ root@192.168.126.13:/export/servers/

为什么hadoop不分发?因为hadoop还有后面的配置文件没有修改好,等配置文件修改好后,再统一分发,节省分发的次数,提高效率。

拓展

一些查看内存大小的命令:

df -hl 挂载点 #查看某个目录剩余空间
du -sh       #查询当前目录占内存总量
du -sh ./*   #查询当前目录下各文件所占内存总量
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值