概述
HORTONWORKS DATA PLATFORM (HDP®)
基于集中化架构 (YARN),是业内唯一一款极其安全且可用于企业的开源 Apache Hadoop® 分布式系统。HDP 可满足静态数据的全部需求,助力实时客户应用程序,并提供可加速决策和创新进程的强劲大数据分析。
Hortonworks DataFlow (HDF) 提供了唯一的端到端平台,利用直观的拖放界面,可以在内部或云中实时收集、管理、分析和操作数据。HDF 是 Apache Nifi/MiNifi、Apache Kafka、Apache Storm 和 Druid 集成的解决方案。HDF流实时数据分析平台包含数据流管理系统、流处理和企业服务。
HDP处理静态数据;HDF处理流实时数据。
本文主要介绍如何在一个新的HDP集群上安装HDF服务。
要求环境
- 操作系统——CentOS7
- CPU架构——x86
- 一个新的HDP集群环境,参考部署HDP
- Java1.8
在新的HDP集群上安装HDF
准备好以上环境以后,我们就可以开始安装HDF了
下载HDF
下载Hortonworks HDF management pack(mpack),参考你的操作系统,从 HDF Release Nots 下载相应的版本。这里,我们以适用于 CentOS7 操作系统的 HDF-3.0.1.1 为例。你可以先下载下来,再上传到装有ambari的主机上,或者直接登陆到ambari主机,执行命令下载:
wget http://public-repo-1.hortonworks.com/HDF/centos7/3.x/updates/3.0.1.1/tars/hdf_ambari_mp/hdf-ambari-mpack-3.0.1.1-5.tar.gz
安装HDF management pack
如果你还没有登陆到ambari主机上,请先登录,然后切换到 hdf-ambari-mpack-3.0.1.1-5.tar.gz 所在目录。接下来安装management pack,执行如下命令:
ambari-server install-mpack --mpack=./hdf-ambari-mpack-3.0.1.1-5.tar.gz --verbose
安装完成后,重启 Ambari Server:
ambari-server restart
更新HDF Base URL
安装好HDF management pack并重启 Ambari Server 之后,在浏览器访问Ambari并登陆,然后执行以下步骤:
- 点击右上角的 admin,然后选在 Manage Ambari;
- 找到左边的 Clusters 视图,点击 Versions,然后点击 HDP version 链接;
- 参考你的操作系统,从 HDF Release Nots 选择相应的 HDF Base URL,然后配置到对应操作系统的base URL位置;
- 点击 Save。
这样,HDF就配置完成,下面就可以选择相应服务进行添加了。
添加一个HDF服务到一个HDP集群
到此,我们已经将HDF服务信息添加到Ambari中,下面就可以添加HDF的服务了:
-
在Ambari home页面,点击左边的 Actions,然后选择 +Add Service;
-
选择想要安装的HDF服务(NiFi, Storm, Kafka, Streaming Analytics Manager, and Schema Registry);
-
在 Assign Masters 环节,使用先前的 Stream Processing 集群部署图分发 master 服务;
-
在 Assign Slaves and Clients 环节,使用先前的 Stream Processing 集群部署图分发 slave 服务;
总结
到此为止,我们已经可以在一个现有的HDP集群上安装HDF服务了,过程并不复杂。HDF服务更多详细的配置步骤,请参考 更多HDF信息。
参考:
https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.0.1.1/bk_installing-hdf-and-hdp/content/ch_install-mpack.html