Hadoop安装教程——基于Ubuntu16.04的Hadoop2.6.5的配置

Hadoop安装教程——基于Ubuntu16.04的Hadoop2.6.5的配置

本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本

环境

本教程使用 Ubuntu 16.04 64位 作为系统环境（Ubuntu 12.04 也行，32位、64位均可），请自行安装系统或虚拟机。
本教程基于原生 Hadoop 2，在 Hadoop 2.6.5 (stable) 版本下验证通过，可适合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.4.1。
装好了 Ubuntu 系统之后，在安装 Hadoop 前还需要做一些必备工作。

创建hadoop用户

如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。
首先按 ctrl+alt+t 打开终端窗口，输入如下命令
创建hadoop用户组 :

    sudo addgroup hadoop 

创建hadoop用户，后面的hadoop代表用户

     sudoadduser -ingroup hadoop hadoop

这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。
为 hadoop 用户增加管理员权限

  sudo gedit /etc/sudoers

在root ALL=(ALL) ALL下面添加

hadoop ALL=(ALL) ALL
最后注销当前用户（点击屏幕右上角的齿轮，选择注销），在登陆界面使用刚创建的 hadoop 用户进行登陆。

更新apt

按 ctrl+alt+t 打开终端窗口，执行如下命令：

sudo apt-get update

若出现如下 “Hash校验和不符” 的提示，可通过更改软件源来解决。若没有该问题，则不需要更改。
后续需要更改一些配置文件，建议安装一下

sudo apt-get install vim

安装SSH、配置SSH无密码登陆

集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

sudo apt-get install openssh-server

安装后，可以使用如下命令登陆本机：

ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 ，这样就登陆到本机了。
我们需要配置成SSH无密码登陆。

在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”。 此外，命令中的 # 后面的文字是注释。

安装Java环境

安装好 OpenJDK 后，需要找到相应的安装路径，这个路径是用于配置 JAVA_HOME 环境变量的。执行如下命令：

该命令会输出一个路径，除去路径末尾的 “/bin/javac”，剩下的就是正确的路径了。如输出路径为 /usr/lib/jvm/java-7-openjdk-amd64/bin/javac，则我们需要的路径为 /usr/lib/jvm/java-7-openjdk-amd64。
接着配置 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置（扩展阅读: 设置Linux环境变量的方法和区别）：
在文件最前面添加如下单独一行（注意 = 号前后不能有空格），将“JDK安装路径”改为上述命令得到的路径，并保存：

1.	export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

如下图所示（该文件原本可能不存在，内容为空，这不影响）：
配置JAVA_HOME变量
接着还需要让该环境变量生效，执行如下代码：

1.	source ~/.bashrc    # 使变量设置生效

设置好后我们来检验一下是否设置正确：

1.	echo $JAVA_HOME     # 检验变量值
2.	java -version
3.	$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

如果设置正确的话，$JAVA_HOME/bin/java -version 会输出 java 的版本信息，且和 java -version 的输出结果一样，如下图所示：

成功配置JAVA_HOME变量
这样，Hadoop 所需的 Java 运行环境就安装好了。

安装 Hadoop 2

通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载，一般选择下载最新的稳定版本，即下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。
下载文件默认保存在 “下载” 目录
我们选择将 Hadoop 安装至 /usr/local/ 中：

1.	sudo tar -zxf ./hadoop-2.6.5.tar.gz -C /usr/local    # 解压到/usr/local中
2.	cd /usr/local/
3.	sudo mv ./hadoop-2.6.5/ ./hadoop            # 将文件夹名改为hadoop
4.	sudo chown -R hadoop ./hadoop       # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

1.	cd /usr/local/hadoop
2.	./bin/hadoop version

至此Hadoop基本安装成功。

参考教程

• http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
• http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
• http://www.micmiu.com/bigdata/hadoop/hadoop-2x-ubuntu-build/