Hadoop运行环境搭建教程

1. 环境准备：

一台linux机器，可以是本地VMware安装的虚拟机，或者一台真实的linux机器都可以。

如果是本地安装的虚拟机，需要预先配置好以下几点：

• 配置机器静态IP（防止重启时IP变动）
• 修改主机名（方便配置）
• 关闭防火墙（防止端口被禁用）

2. 安装包准备

1. jdk安装包
   下载地址：https://www.oracle.com/java/technologies/javase-jdk8-downloads.html
   推荐版本：jdk8及以上
2. hadopp安装包
   下载地址http://archive.apache.org/dist/hadoop/core/
   推荐版本：2.7.2

3. 执行安装

1. 上传文件

1. 在linux上新建目录/opt/software，/opt/module
2. 上传jdk安装包和hadoop安装包
   

2. 安装jdk

1. 解压jdk包到/opt/module目录

[root@hadoop101 software]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

2. 配置jdk环境变量
   先获取jdk解压路径，本示例中解压的路径为：/opt/module/jdk1.8.0_144
   然后使用命令vim /etc/profile 打开/etc/profile文件
   在 /etc/profile的文件末尾增加以下内容

#JAVA_HOME配置
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

修改后保存退出
3. 使环境变量配置生效
执行命令: source /etc/profile
4. 验证是否安装成功
输入命令java -version，结果如下所示则安装JDK成功

[root@hadoop101 software]# java -version
openjdk version "1.8.0_222-ea"
OpenJDK Runtime Environment (build 1.8.0_222-ea-b03)
OpenJDK 64-Bit Server VM (build 25.222-b03, mixed mode)
[root@hadoop101 software]# 

3. 安装hadoop

1. 解压安装包到/opt/module目录

[root@hadoop101 software]#  tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

2. 配置环境变量
   先获取jdk解压路径，本示例中解压的路径为：/opt/module/hadoop-2.7.2
   然后使用命令vim /etc/profile 打开/etc/profile文件
   在 /etc/profile的文件末尾增加以下内容

##HADOOP_HOME配置
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

修改后保存退出
3. 使环境变量配置生效
执行命令: source /etc/profile
4. 验证是否安装成功
输入命令hadoop version，结果如下所示则安装HADOOP成功

[root@hadoop101 software]# hadoop version
Hadoop 2.7.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b165c4fe8a74265c792ce23f546c64604acf0e41
Compiled by jenkins on 2016-01-26T00:08Z
Compiled with protoc 2.5.0
From source with checksum d0fda26633fa762bff87ec759ebe689c
This command was run using /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar
[root@hadoop101 software]# 

4. HADOOP目录结构说明

安装之后的hadoop目录结构如下：

[root@hadoop101 hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
[root@hadoop101 hadoop-2.7.2]# ll
total 32
drwxr-xr-x. 2 10011 10011   194 Jan 26  2016 bin
drwxr-xr-x. 3 10011 10011    20 Jan 26  2016 etc
drwxr-xr-x. 2 10011 10011   106 Jan 26  2016 include
drwxr-xr-x. 3 10011 10011    20 Jan 26  2016 lib
drwxr-xr-x. 2 10011 10011   239 Jan 26  2016 libexec
-rw-r--r--. 1 10011 10011 15429 Jan 26  2016 LICENSE.txt
-rw-r--r--. 1 10011 10011   101 Jan 26  2016 NOTICE.txt
-rw-r--r--. 1 10011 10011  1366 Jan 26  2016 README.txt
drwxr-xr-x. 2 10011 10011  4096 Jan 26  2016 sbin
drwxr-xr-x. 4 10011 10011    31 Jan 26  2016 share
[root@hadoop101 hadoop-2.7.2]# 

• bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
• etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
• lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
• sbin目录：存放启动或停止Hadoop相关服务的脚本
• share目录：存放Hadoop的依赖jar包、文档、和官方案例

这样hadoop的安装就完成了，可以说是非常简单，接下来就可以修改配置文件，让hadoop跑起来了。