注:先下载如下安装包(方便):
一、准备工作
装好了Ubuntu系统之后,在安装Hadoop前还需要做一些必备工作。
1.创建hadoop用户
如果你安装 Ubuntu 的时候不是用的 hadoop 用户,那么最好增加一个名为 hadoop 的用户,密码随意指定。首先打开终端,输入如下命令创建新用户 :
$ sudo useradd -m hadoop -s /bin/bash
这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为shell。
接着使用如下命令修改密码,按提示输入两次密码
$ sudo passwd hadoop
可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:
$ sudo adduser hadoop sudo
完整的运行情况如下:
master@ubuntu:~$ sudo useradd -m hadoop -s /bin/bash
[sudo] password for master:
master@ubuntu:~$ sudo passwd hadoop
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully
master@ubuntu:~$ sudo adduser hadoop sudo
[sudo] password for master:
Adding user `hadoop' to group `sudo' ...
Adding user hadoop to group sudo
Done.
2.修改机器名称
主机的 /etc/hostname 中,修改机器名为master,将其他主机命令为slave1、slave2等。接着在 /etc/hosts 中,把所有集群的主机信息都写进去。
hadoop@ubuntu:~$ sudo vim /etc/hostname
hadoop@ubuntu:~$ sudo vim /etc/hosts
127.0.0.1 localhost
172.16.1.43 master
172.16.1.44 node1
172.16.1.45 node2
配置好后可以在各个主机上执行ping Master和ping Slave1测试一下,看是否相互ping得通。
3.配置内网静态ip地址
sudo vim /etc/network/interface
加上如下内容:
auto eth0
iface eth0 inet static
address 172.16.1.43 //IP地址需要改,其他的不能改
gateway 172.16.1.254
netmask 255.255.255.0
完成后,最好重启一下,才能看到IP地址和主机名的变化
(IP地址配置好后就可以使用putty客户端了,不需要在浏览器端了)
4.查看时间,每台机器的时间间隔最好不要超过30s
查看时间:date
修改时间:date –s “2017-01-17 09:30:00”
修改时间后要写入cmos硬件中,切换到超级管理员 sudo su root,
时间同步 hwclock –systohc , 退出超级管理员 su hadoop
二、配置SSH Server无密码登录
1.安装系统时可以选择安装open ssh,或者自己用安装包安装
$ sudo apt-get install openssh-server
2. 安装后,可以使用如下命令登陆本机(必做):
$ ssh localhost
这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
3. (1)配置一台机器自身无密码登录:首先退出刚才的 ssh,就回到了我们原先的终端窗口,先cd进入.ssh目录,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
cd ~/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys
再次使用ssh localhost登录就不需要输入密码了
(2)配置多台机器之间的互相无密码登录
先在第一台机器生成公钥和密钥,把公钥发给第二台机器,第二台机器加入到 .ssh目录的authorized_keys文件中,然后把authorized_keys发给第三台机器,第三台机器把它自己的公钥也加入autho