ubuntu 16.04 安装Hadoop2.6.4 以及适配的Java版本（必成）

1、基于环境

Ubuntu 16.04 64位 作为系统环境（Ubuntu 14.04，12.04 也行，32位、64位均可），请自行安装系统。

装好了 Ubuntu 系统之后，在安装 Hadoop 前还需要做一些必备工作。

2、创建hadoop用户

1、创建可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。

 sudo useradd -m hadoop -s /bin/bash

2、接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：
sudo passwd hadoop

3、为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：
 sudo adduser hadoop sudo

4、最后注销当前用户,使用刚创建的 hadoop 用户进行登陆,接下来的教程都在hadoop用户下操作

给当前的用户赋值超级权限

sudo usermod -aG sudo 自己的用户名

5、 更新apt
先更新一下 apt，后续我们使用 apt 安装软件，如果没更新可能有一些软件安装不了

sudo apt-get update

6、安装vim编辑器

sudo apt-get install vim

7、安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

 sudo apt-get install openssh-server

安装后，可以使用如下命令登陆本机：

ssh localhost

此时会有提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。

但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

$ exit    # 退出刚才的 ssh localhost
$ cd ~/.ssh/  
$ ssh-keygen -t rsa   #

会有提示，都按回车就可以
$ cat ./id_rsa.pub >> ./authorized_keys  

加入授权

3、安装适配Hadoop2.6.4的Java版本

sudo apt-get install openjdk-8-jre openjdk-8-jdk

查看Java的默认路径：/usr/lib/jvm/java-8-openjdk-amd64（按照自己安装路径查找）

 

配置 JAVA_HOME 环境变量

sudo vim ~/.bashrc

在文件的初始行，加入jdk的安装路径 默认是这个

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

使变量生效

source ~/.bashrc

测试Java是否安装成功

java -version

如果出现对应版本，则安装成功

4、安装Hadoop 2.6.4

cd /home/hadoop

wget https://archive.apache.org/dist/hadoop/core/hadoop-2.6.4/hadoop-2.6.4.tar.gz

解压缩文件
tar -xvf hadoop-2.6.4.tar.gz

给文件夹改名

mv ./hadoop-2.6.4/ ./hadoop

修改权限

chown -R hadoop ./hadoop

查看当前Hadoop是否安装成功

cd ./hadoop

查看当前的Hadoop版本

./bin/hadoop version

5、Hadoop配置

进入到Hadoop的配置文件夹，进行配置

 cd /home/hadoop/hadoop/etc/hadoop/

修改配置文件

$ vim hadoop-env.sh

#在最前面插入一行

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

 

vim  core-site.xml

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file: /home/hadoop/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>
 

 

vim hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
            <value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
            <value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
        </property>
</configuration>
 

配置完成后，执行 NameNode 的格式化:

$ ./bin/hdfs namenode -format

开启项目

 

可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息