虚拟机环境准备
- 克隆虚拟机
- 修改克隆虚拟机的静态 IP
- 修改主机名
- 关闭防火墙
- 创建
atguigu
用户 - 配置
atguigu
用户具有root
权限 - 在
/opt
目录下创建文件夹
(1)在 /opt
目录下创建 module
、software
文件夹
[atguigu@hadoop101 opt]$ sudo mkdir module
[atguigu@hadoop101 opt]$ sudo mkdir software
(2)修改 module
、software
文件夹的所有者 cd
[atguigu@hadoop101 opt]$ sudo chown atguigu:atguigu module/ software/
[atguigu@hadoop101 opt]$ ll
总用量 8
drwxr-xr-x. 2 atguigu atguigu 4096 1月 17 14:37 module
drwxr-xr-x. 2 atguigu atguigu 4096 1月 17 14:38 software
安装 JDK
- 卸载现有 JDK
(1)查询是否安装Java
软件:
[atguigu@hadoop101 opt]$ rpm -qa | grep java
(2)如果安装的版本低于 1.7,卸载该 JDK:
[atguigu@hadoop101 opt]$ sudo rpm -e 软件包
(3)查看 JDK 安装路径:
[atguigu@hadoop101 ~]$ which java
- 使用 SeureCRT 或者其他工具将 JDK 导入到
opt
目录下面的software
文件夹下面
“alt+p”
进入 sftp
模式,
选择 jdk1.8 拖入
- 在
Linux
系统下的opt
目录中查看软件包是否导入成功
[atguigu@hadoop101 opt]$ cd software/
[atguigu@hadoop101 software]$ ls
hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz
- 解压
JDK
到/opt/module
目录下
[atguigu@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
- 配置
JDK
环境变量
(1)先获取 JDK
路径
[atguigu@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144
(2)打开 /etc/profile
文件
[atguigu@hadoop101 software]$ sudo vi /etc/profile
在 profile
文件末尾添加 JDK
路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
(3)保存后退出
:wq
(4)让修改后的文件生效
[atguigu@hadoop101 jdk1.8.0_144]$ source /etc/profile
- 测试
JDK
是否安装成功
[atguigu@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"
注意:重启(如果
java -version
可以用就不用重启)
[atguigu@hadoop101 jdk1.8.0_144]$ sync
[atguigu@hadoop101 jdk1.8.0_144]$ sudo reboot
安装 Hadoop
-
Hadoop下载地址:
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ -
用
SecureCRT
工具将hadoop-2.7.2.tar.gz
导入到opt
目录下面的software
文件夹下面
切换到 sftp
连接页面,选择 Linux
下编译的 hadoop jar包
拖入,
- 进入到
Hadoop
安装包路径下
[atguigu@hadoop101 ~]$ cd /opt/software/
- 解压安装文件到
/opt/module
下面
[atguigu@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
- 查看是否解压成功
[atguigu@hadoop101 software]$ ls /opt/module/
hadoop-2.7.2
- 将
Hadoop
添加到环境变量
(1)获取 Hadoop
安装路径
[atguigu@hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2
(2)打开 /etc/profile
文件
[atguigu@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile
在 profile
文件末尾添加 JDK
路径:(shitf+g
)
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
(3)保存后退出
:wq
(4)让修改后的文件生效
[atguigu@ hadoop101 hadoop-2.7.2]$ source /etc/profile
- 测试是否安装成功
[atguigu@hadoop101 hadoop-2.7.2]$ hadoop version
Hadoop 2.7.2
- 重启(如果
Hadoop
命令不能用再重启)
[atguigu@ hadoop101 hadoop-2.7.2]$ sync
[atguigu@ hadoop101 hadoop-2.7.2]$ sudo reboot
Hadoop 的目录结构
- 查看
Hadoop
目录结构
[atguigu@hadoop101 hadoop-2.7.2]$ ll
总用量 52
drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 bin
drwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 etc
drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 include
drwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 lib
drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 libexec
-rw-r--r--. 1 atguigu atguigu 15429 5月 22 2017 LICENSE.txt
-rw-r--r--. 1 atguigu atguigu 101 5月 22 2017 NOTICE.txt
-rw-r--r--. 1 atguigu atguigu 1366 5月 22 2017 README.txt
drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 sbin
drwxr-xr-x. 4 atguigu atguigu 4096 5月 22 2017 share
- 重要目录
(1)bin
目录:存放对Hadoop
相关服务(HDFS
,YARN
)进行操作的脚本
(2)etc
目录:Hadoop
的配置文件目录,存放Hadoop
的配置文件
(3)lib
目录:存放Hadoop
的本地库(对数据进行压缩解压缩功能)
(4)sbin
目录:存放启动或停止Hadoop
相关服务的脚本
(5)share
目录:存放Hadoop
的依赖jar
包、文档、和官方案例