Ubuntu搭建hadoop集群（分布式）

一：

准备条件：两台ubuntu虚拟机，两台虚拟机的ip处于同一网段

 

此过程搭建都是在root用户下搭建的，避免遇到新手最怕和最常遇到权限不足的问题

二：基本环境变量

1：增加root用户

#：sudo passwd 创建root用户,然后输入root密码

2： 修改主机名

注意下文中的 vivim nano 都是文本编辑器，他们的功能相同，但是具体操作不同

 

#：Master

#：vim /etc/hostname进入hostname文件中，将原名字修改为master，注意重启生效

 

删除 127.0.1.1  xxxx  

#：vim /etc/hosts 进入hosts文件中，将slaver节点和master节点相互关联，具体操作如下

   Slaver节点的 ip slaver           例如：192.168.1.101 master

   Master节点的ip master          例如：192.168.1.102 slaver

 

 

   将它们放到文件的最后一行

 

 

#：slaver

 

#：vim /etc/hostname进入hostname文件中，将原名字修改为slaver

 

#：vim /etc/hosts 进入hosts文件中，将原文件中 127.0.1.1    xxxxxx

   改为 127.0.1.1       slaver

 

#：vim /etc/hosts 进入hosts文件中，将slaver节点和master节点相互关联，具体操作如下

   Slaver节点的 ip slaver           例如：192.168.1.101 master

   Master节点的ip master          例如：192.168.1.102 slaver

将它们放到文件的最后一行

能够ping通，说明配置成功

三：配置ssh

1：

#：Master & slaver

 

#ssh-keygen(或 ssh-keygen–t rsa) 一路回车生成秘钥

#：这个命令生成一个密钥对：id_rsa（私钥文件）和 id_rsa.pub（公钥文件），默认被保存 在/root/.ssh/目录下。

#：在 HadoopMaster 节点的/root/.ssh/目录下创建 authorized_keys 文件，将该节点生成的 id_rsa.pub 的内容拷贝到 authorized_keys 文件中。

HadoopSlaver 节点 将HadoopMaster 节点/root/.ssh/authorized_keys 文件分别拷贝到 slaver1 的 /root/.ssh 目录下：

slaver1:

# scp master:/root/.ssh/authorized_keys/root/.ssh/ 

将slaver节点的 id_rsa.pub拷贝到authorized_keys

将slaver节点的authorized_keys拷贝一份 名字为a