Hadoop的部署教程
- 第一步创建hadoop用户
- 第二步系统更新
- 第三步安装SSHserver、配置SSH无密钥登录
- 第四步安装Java环境
- 第五步网络配置
- 第六步安装Hadoop
- 第七步配置集群分布式环境
- 第八步执行分布式实例
因为该教程是在三台远程虚拟机上搭建的,三台虚拟机的IP地址如下:
192.168.3.53 作为Mater
192.168.3.54 作为Slave1
192.168.3.55 作为Slave2
第一步创建hadoop用户
如果你安装 Ubuntu 的时候不是用的 hadoop 用户,那么最好增加一个名为 hadoop 的用户,密码可设置为 hadoop (密码随意指定),这里设为hadoop。
首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 :
sudo useradd -m hadoop -s /bin/bash
这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为shell。
接着使用如下命令修改密码,按提示输入两次密码 hadoop :
sudo passwd hadoop
可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:
sudo adduser hadoop sudo
注销当前用户,切换到hadoop用户:
su hadoop
第二步系统更新
后面需要通过apt安装一些软件,在此之前最好更新一下,否则一些软件可能安装不了:
sudo apt-get update
sudo apt-get upgrade
当出现hash校验不符时可以通过更改软件源来解决。若没有出现该问题时,则不用需要更改。
后续需要更改一些配置文件,强烈建议用 vim(vi增强版,基本用法相同),安装一下(如果你实在还不会用vi/vim 请将后面用到 vim 的地方改为 gedit,这样可以使用文本编辑器进行修改,并且每次文件更改完成后请关闭 gedit这里由于在虚拟机里安装推荐vim。)
sudo apt-get install vim
第三步安装SSHserver、配置SSH无密钥登录
集群、单节点模式都需要用到SSH登陆(类似于远程登陆,你可以登录某台Linux电脑,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:
sudo apt-get install openssh-server
安装后,可以使用如下命令登陆本机:
ssh localhost
此时会有如下提示(SSH首次登陆提示),输入yes 。然后按提示输入密码 hadoop,这样就登陆到本机了。
但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
exit #退出刚才的登录的本机ssh localhost
cd ~/.ssh #切换到.ssh文件夹
ssh-keygen -t rsa # 生产登录密钥,会有提示,都按回车就可以
cat id_rsa.pub >> authorized_keys #加入授权
~的含义:在 Linux 系统中,~ 代表的是用户的主目录,即 “/home/用户名” 这个目录,如你的用户名为 hadoop,则 ~ 就代表 “/home/hadoop/”。 此外,# 后面的文字是注释。此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了,如下图所示。
第四步安装Java环境
因为后期安装Spark1.6.0时发现Java1.8会出现莫名的错误,安装JDK1.7
jdk下载地址从这里下载tar.gz结尾的压缩包。解压到相关目录,本次将jdk解压到/usr/local/jvm/;如果没有jvm/文件夹可以先进行创建,由于本次是用hadoop账户登录的,因此在/usr/local文件夹下一系列操作都要前缀sudo命令。
sudo tar -zxvf jdk1.7.0_79.tar.gz -C /usr/local/jvm
接着需要配置一下 JAVA_HOME 环境变量,为方便,我们在 ~/.bashrc 中进行设置:
vim ~/.bashrc
可以在文件的开头添加如下:
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
并在PATH后配置如下:
export