前言
前面我们实现了虚拟机的安装,也为每个节点配置的网络,使其能上网。但这样还远不能让集群进行工作,因为我们并没有为每个节点安装hadoop软件,又怎么使用它所提供的服务呢?下载完软件后,如何让虚拟机找到hadoop路径等?本篇将讲述如何安装jdk和hadoop。
一、安装JDK和Hadoop
由于hadoop软件是由java编写而成,所以系统需要jdk环境去理解软件内部的操作,也就是需要我们自己下载安装JDK,才正常使用Hadoop。
安装步骤:
1、上传本地安装包到虚拟机
2、解压安装包
3、为安装后的服务文件进行重命名(非必须)
1、建立工作路径
建立统一的工作路径,能方便节点之间传输文件和环境配置。
#建立目录
mkdir -p /export/servers
mkdir -p /export/data
#同步目录到其它节点
scp -r /export root@192.168.126.12:/
scp -r /export root@192.168.126.13:/
注意:
- 用scp命令传输的目录,其底下必须是有内容的;
- 192.168.126.12 和 192.168.126.13 是我node1和node2的ip地址。
2、开始安装
1)安装rz命令
yum -y install lrzsz
补充:一个能在xshell上直接上传本地文件的命令,如果有rz命令了,忽略这一步。
2)上传安装包路径
cd /export/software
rz
rz 选择安装包,等待传输完毕
3)解压
tar -zxvf jdk-8u241-linux-x64.tar.gz
tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
补充:此命令需在root用户下进行,以保证权限
另外,你可以选择删除.gz包,释放它们所占的空间,也可以选择保留下来。
4)同步服务
#jdk
scp -r jdk1.8.0_241/ root@192.168.126.12:/export/servers/
scp -r jdk1.8.0_241/ root@192.168.126.13:/export/servers/
为什么hadoop不分发?因为hadoop还有后面的配置文件没有修改好,等配置文件修改好后,再统一分发,节省分发的次数,提高效率。
拓展
一些查看内存大小的命令:
df -hl 挂载点 #查看某个目录剩余空间
du -sh #查询当前目录占内存总量
du -sh ./* #查询当前目录下各文件所占内存总量