0 主要参考教程
00 大概步骤
1、在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
2、在 Master 节点上安装 Hadoop,并完成配置
3、在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
4、将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
5、在 Master 节点上开启 Hadoop
1.1 Ubuntu系统安装
服务器为Windows Server 2012 R2系统,在此服务器上,用VMware Workstation 14 Pro 虚拟机安装Ubuntu系统。其详细配置信息如图所示:
先配置一个Slaver系统即可,配置完成后利用虚拟机的克隆功能,创建Slaver23
1.2 创建hadoop用户
在本例中,Master系统中有两个用户xiaozhou
和hadoop
,其余三个从结点(Slaver1~3)只有一个用户hadoop
。
在Master系统中,创建新用户hadoop
:
$ sudo useradd -m hadoop -s /bin/bash
$ sudo passwd hadoop
$ sudo adduser hadoop sudo
上述语句:
- 创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。
- 设置密码
- 为hadoop用户增加管理员权限
1.3 更新apt,安装vim
$ sudo apt-get upgrade
$ sudo apt-get install vim
1.4 SSH安装配置
- SSH用于主、从节点之间的连接;Ubuntu默认已安装SSH client,还需要安装SSH server:
$ sudo apt-get install openssh-server
# 安装后使用如下命令登录本机
$ ssh localhost # 会发现需要密码
$ exit # 退出本次登录,
- 在首次登录后,会自动生成
~/.ssh/
文件夹,穷则独善其身,我们先对本机实现无密码登录:
$ cd ~/.ssh/
$ ssh-keygen -t rsa # 此时一路回车不回头
$ cat ./id-rsa.pub >> ./authorized_keys # 加入授权
再次使用ssh localhost
命令,无需输入密码即可登录。
此时实现的是本机的SSH无密登录,等后续建立slave节点后,再进行主、从节点间的SSH无密登录。
1.5 安装Java环境
怎么下载安装JDK的实在有点忘了,不过这个随意一搜就知道了,在这就懒得再写这一过程了。
大概步骤就是直接下载JKD的tar.gz压缩包,然后直接解压缩到一个目录下就行了。不像windows那样还有安装exe文件,主要是知道解压在哪个目录下了,接下来配置环境变量。
本例中,将JAVA_HOME配置在/etc/profile
中,
设置完成后一定不要忘了让该环境变量生效,不然你会怀疑人生是不是做了什么错事,明明设置了位数没反应。别怀疑,人丑就要多读书,你就是读少了。
$ source /etc/profile # 使变量设置生效
$ echo $JAVA_HOME # 检验变量值
1.6 后记
到此,Master上面的准备工作已经基本完成,中间可能会出现一些小问题,可以参考另外一篇博文,Hadoop实践学习中的问题汇总(持续补充),这记录了Hadoop实践学习中本人亲历的一(大)些(量)小东西,别致的很呢。