Hadoop集群安装部署

安装步骤：

1.操作系统与实验硬件准备

2.配置集群的ssh

3.配置Hadoop集群

4.启动Hadoop服务

一、操作系统与实验硬件准备

 在虚拟机上准备两个机子，一个作为master一个作为slave1

按用前面（Hadoop单机安装）

完成安装jdk，hadoop和配置环境等

1、设置两台机子的hostname

 执行命令$sudo vim /etc/hostname

将文件中的名称改成想要的机器名，这里改成master和slave1

重启一次系统生效

执行命令

$ping master

$ping slave1

正常的话，应该能ping通

2、设置虚拟机的静态ip

master主机设置静态ip，在slave上也要参考设置修改成具体ip

执行命令

$sudo vim /etc/network/interfaces

打开文件修改成以下内容

auto lo

iface lo inet loopback

auto eth0

iface eth0 inet static

address 192.168.237.131#本机ip

netmask 255.255.255.0

network 192.237.140.0

boardcast 192.168.237.255

gateway 192.168.237.2

dns-nameservers 8.8.8.8 8.8.4.4

3、设置2台机子的hosts文件

执行命令

$sudo vim /etc/hosts

在hosts文件添加如下内容

192.168.237.131  master

192.168.237.132  slave1

二、配置ssh免密码登录

配置ssh免密码登录是让各节点能自动通过安全认证，不影响正常通讯。

安装ssh：在线安装

执行命令

$sudo apt-get install ssh

离线安装

在网上下载离线包，拷贝到ubuntu中按照离线包中的安装说明在本地进行安装

然后确认sshserver是否启动：

$ps -e | grep ssh

配置ssh的实现思路：

1.在每台机子上都使用ssh-keygen生成public key，private key

2. 所有机子的 public key 都拷到一台机子如 master 上

3. 在 master 上生成一个授权 key 文件 authorized_keys

4. 最后把 authorized_keys 拷给所有集群中的机子，就能保证无密码登录

1、先在master上，在当前用户目录下生产公钥、私钥对

执行命令

$ssh-keygen -t rsa -P ''