最近才接触Hortonworks Data Platform(HDP),安装时遇到挺多坑,以下是本人成功安装的具体步骤,分享一下
首先介绍一下Ambari和HDP,官网上http://hortonworks.com/products/data-center/hdp/很详细,这里我就大致说一下。
Ambari 是 Apache Software Foundation 中的一个项目,是一个分布式架构的软件,主要由Ambari Server 和 Ambari Agent两部分组成。用户通过 Ambari Server 通知 Agent 安装对应的软件;Agent 会定时发送各个机器每个软件模块的状态给 Ambari Server,作用来说,就是创建、管理、监视 Hadoop 的集群。下面进行安装
集群配置
集群组成
本次部署总共有3个节点,如下所示:
hostname |
Ip地址 |
内存 |
操作系统 |
安装组件 |
h220.hdp |
10.11.115.220 |
4G |
Centos6.5 |
|
h221.hdp |
10.11.115.221 |
2G |
Centos6.5 |
|
H222.hdp |
10.11.115.222 |
2G |
Centos6.5 |
|
1.修改主机名:/etc/sysconfig/network中修改hostname项,修改完后重启生效,使其立即生效:sysctl kernel.hostname=Test2
2.修改/etc/hosts:将每个机器的hostname和ip对应起来,将修改后的/etc/hosts文件复制到集群中的每台机器。
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain610.11.115.220 h220.hdp h220
10.11.115.221 h221.hdp h221
10.11.115.222 h222.hdp h222
配置ssh无密码登录
因为在ambari和hdp部署过程中,ambari和hdp部署的节点都有可能互相访问,所以建议四个节点中的每个节点之间都可以ssh无密码登录,包括它们自己登录到自己。
在每一台机器上执行如下操作,首先查看该用户根目录下的.ssh文件夹中是否有id_rsa文件(如果没有.ssh文件夹,可以自己创建一个),如果没有执行ssh-keygen命令,一路回车,然后查看生成的文件,本文档部署在h220机器上的操作如下所示,其他机器类似:
[root@h220 ~]# cd .ssh
[root@h220 .ssh]#ssh-key-gen
[root@h220 ~]# cat id_rsa.pub >> .ssh/authorized_keys