Hadoop的部署教程

Hadoop的部署教程

• 第一步创建hadoop用户
• 第二步系统更新
• 第三步安装SSHserver、配置SSH无密钥登录
• 第四步安装Java环境
• 第五步网络配置
• 第六步安装Hadoop
• 第七步配置集群分布式环境
• 第八步执行分布式实例

---

因为该教程是在三台远程虚拟机上搭建的，三台虚拟机的IP地址如下：
192.168.3.53 作为Mater
192.168.3.54 作为Slave1
192.168.3.55 作为Slave2

第一步创建hadoop用户

如果你安装 Ubuntu 的时候不是用的 hadoop 用户，那么最好增加一个名为 hadoop 的用户，密码可设置为 hadoop (密码随意指定)，这里设为hadoop。
首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :

sudo useradd -m hadoop -s /bin/bash

这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为shell。
接着使用如下命令修改密码，按提示输入两次密码 hadoop ：

sudo passwd hadoop

可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：

sudo adduser hadoop sudo

注销当前用户，切换到hadoop用户：

su hadoop

第二步系统更新

后面需要通过apt安装一些软件，在此之前最好更新一下，否则一些软件可能安装不了：

sudo apt-get update
sudo apt-get upgrade

当出现hash校验不符时可以通过更改软件源来解决。若没有出现该问题时，则不用需要更改。
后续需要更改一些配置文件，强烈建议用 vim（vi增强版，基本用法相同），安装一下（如果你实在还不会用vi/vim 请将后面用到 vim 的地方改为 gedit，这样可以使用文本编辑器进行修改，并且每次文件更改完成后请关闭 gedit这里由于在虚拟机里安装推荐vim。）

sudo apt-get install vim

第三步安装SSHserver、配置SSH无密钥登录

集群、单节点模式都需要用到SSH登陆（类似于远程登陆，你可以登录某台Linux电脑，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

sudo apt-get install openssh-server

安装后，可以使用如下命令登陆本机：

ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。
但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit                                     #退出刚才的登录的本机ssh localhost
cd ~/.ssh                                #切换到.ssh文件夹 
ssh-keygen -t rsa                        # 生产登录密钥，会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys        #加入授权

~的含义：在 Linux 系统中，~ 代表的是用户的主目录，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”。 此外，# 后面的文字是注释。此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示。

第四步安装Java环境

因为后期安装Spark1.6.0时发现Java1.8会出现莫名的错误，安装JDK1.7
jdk下载地址从这里下载tar.gz结尾的压缩包。解压到相关目录，本次将jdk解压到/usr/local/jvm/；如果没有jvm/文件夹可以先进行创建，由于本次是用hadoop账户登录的，因此在/usr/local文件夹下一系列操作都要前缀sudo命令。

sudo tar -zxvf jdk1.7.0_79.tar.gz -C /usr/local/jvm

接着需要配置一下 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置：

vim ~/.bashrc

可以在文件的开头添加如下：

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79

并在PATH后配置如下：

export