版本描述 系统版本为 CentOS release 6.5 (Final) Hadoop版本:hadoop 2.6.0 64 bit 版本 Zookeeper 版本:zookeeper-3.4.6 Hive版本:apache-hive-1.1.0 JDK版本哦openjdk 1.8.0 说明:apache社区上发布的是32位的编译版本,直接安装在64位上会出现库的问题 至于如何获取64位的版本,可以自己编译也可以从网上获取 网络规划 本系统设计的部件如下:hadoop2.6.0、zookeeper-3.4.6.tar.gz、hive-1.1.0、mysql 5.6.21
IP |
hostname |
部件 |
进程 |
172.29.31.74 |
namenodem |
Hadoop |
ResourceManager NameNode DFSZKFailoverController(zkfc) |
172.29.31.60 |
namenodes |
Hadoop、hive |
ResourceManager NameNode DFSZKFailoverController(zkfc) |
172.29.31.64 |
datanode64 |
Hadoop、zookeeper |
JournalNode NodeManager DataNode zookeeper |
172.29.31.68 |
Datanode68 |
Hadoop、zookeeper |
JournalNode NodeManager DataNode zookeeper |
172.29.31.71 |
Datanode71 |
Hadoop、zookeeper |
JournalNode NodeManager DataNode zookeeper |
172.29.31.66 |
mysql |
mysql |
|
环境准备关闭防火墙 在每个主机上做同样的操作 在root用户下 执行如下命令: serviceiptables stop 配置主机名 在每个主机上做同样的操作 用户root用户 修改主机名: 1、vi/etc/hostname 2、把其中原来的名修改为网络规划中指定的主机名 3、vi/etc/hosts 4、在文件中添加如下数据 172.29.31.74 namenodem 172.29.31.60 namenodes 172.29.31.68 datanode68 172.29.31.71 datanode71 172.29.31.64 datanode64 5、重启生效 用户创建 用户创建 在每个主机上做同样的操作 用root用户登录,在所有节点上创建用户,用户名为hadoop ,密码:hadoop (这是用我的名字创建的,当然是可以修改的) 1、创建用户组:groupadd hadoopgrp 2、执行如下命令: useradd hadoop -g hadoopgrp -d /home/hadoop 3、用户建立好,在设置密码 执行如下命令: passwd hadoop 在提示输入密码处输入:hadoop 在提示确认密码处输入:hadoop 建立信任关系创建密钥 所有的主机上都执行同样测操作 1、切换用户到hadoop sudo su hadoop 2、创建.ssh 文件夹 在/home/hadoop目录下 mkdir .ssh 设置 .ssh 文件夹权限为 chmod 700 .ssh 3、创建密钥 执行如下命令:ssh-keygen -t rsa 持续回车确认,完成后在 .ssh目录下会产生如下两个文件 :id_rsa(私钥文件)id_rsa.pub(公钥文件) 建立信任关系 1、所有主机上的公钥copy到同一台机器上(我这里copy到主机namenodem上) scp ~/.ssh/id_rsa.pub hadoop@ namenodem:~/.ssh/id_rsa_ namenodes.pub (注意:加粗的部分一定要按源主机区分,否则会覆盖原来主机上的配置文件) 5、创建authorized_keys 进入namenodem主机中的.ssh目录中 执行:touch authorized_keys 6、把所有的公钥全部写入authorized_keys文件中 执行:cat id_rsa_ namenodes.pub >> authorized_keys (注意 |