一、集群规划
二、安装JDK和Hadoop
2.1:检查-下是否已经安装过或者系统内置JDK
[root@hadoop100 ~]# rpm -qa|grep -i java |xargs -n1
rpm -qa :查询安装的所有rpm软件包
gre -i:忽略大小写
xargs -n1:表示每次只传递一个参数
将查询到的内置jdk强制卸载
[root@hadoop100 ~]# rpm -e --nodeps
2.2 :上传jdk1.8.0,hadoop-3.2.2(借助xftp工具)
将jdk-8u301-linux-x64.tar.gz 、hadoop-3.2.2 上传到/opt/software中
2.3:解压jdk和hadoop到/opt/module 下
[root@hadoop100 software]# tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module
[root@hadoop100 software]# tar -zxvf hadoop-3.2.2.tar.gz -C /opt/module
2.4:配置jdk 、hadoop的环境变量:/etc/profile.d/my_env.sh
[root@hadoop100 ~]# vim /etc/profile.d/my_env.sh
在my_env.sh文件中添加以下内容:
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
保存并退出: :x/:wq
2.5:使修改后的文件生效
[root@hadoop100 ~]# source /etc/profile
2.6: 测试是否安装成功
[root@hadoop100 ~]# java -version
java version “1.8.0_301”
[root@hadoop100 ~]# hadoop version
hadoop-3.2.2
2.7:重启(如果hadoop命令不能用再重启虚拟机)
[root@hadoop100 ~]# reboot
- Hadoop目录结构
3.1:查看Hadoop目录结构
3.2:重要目录
(1)bin目录:存放对Hadoop相关服务(hdfs, yam, mapred)进行操作的脚本
(2)etc目录:Hadoop的配置文件日录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例