Ubuntu 16.10 搭建 hadoop 2.7.3 完全集群

Ubuntu 16.10 搭建 hadoop 2.7.3 完全集群

---

最近在学习hadoop，在搭建完全分布式环境中的过程以及遇到的问题做一下记录。网上也有很多关于如何搭建hadoop的博客，不过大部分都是复制，粘贴。

---

• 关于如何创建虚拟机，这里我不做介绍，网上有很多这方面的介绍。当然，如果你又条件，可以自己买服务器或者多台电脑玩。还有在安装之前要先安装jdk，以及设置jdk环境变量。

• 创建hadoop用户组

groupadd hadoop

• 添加hadoop用户

useradd -g hadoop -s /bin/bash -m hadoop

备注：-g 属于刚刚创建的 hadoop 组
     -s 是登录shell
     -m 为hadoop在/home 下自动创建用户文件夹 hadoop

• 安装shh

apt-get install ssh
apt-get install rsync
apt-get install openssh-server

备注 : 对于ssh的详细安装，这里不做详解，请参看其他文章

• 配置 主机（hadoop01） 节点可通过 SSH 无密码访问 从节点（hadoop02 , hadoop03）

  1. 生成私钥，公钥

ssh-keygen -t rsa
ssh-keygen -t rsa -P '' //表示空密码
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //追加到authorized_keys
chmod 600 authorized_keys //修改authorized_keys的权限，（这一步很重要不然的话，SSH时仍然需要密码）

• 将生成的 authorized_keys 文件复制到 hadoop02 和 hadoop03 的 .ssh目录下

scp ~/.ssh/authorized_keys hadoop@hadoop02:~/.ssh
scp ~/.ssh/authorized_keys hadoop@hadoop02:~/.ssh

• 安装hadoop
  1、 从hadoop下载对应的ta