原文转自:http://blog.csdn.net/nevergiveup54/article/details/50545020
---------------------------------------------------------------------------------------------------------------------------------------------------------------------
本人备注:
我用的CM是5.6.0,按照下面官网的版本配对的话应该是不用安装csds的(外部链接原文的链接好像出错了),CDH是5.3.9,选择kafka1.4.0的时候会出现“哈希验证失败”的错误,采用1.3.2即可
cloudera网址(kafka与cloudera的版本配对):
http://www.cloudera.com/documentation/kafka/1-4-x/topics/kafka_packaging.html
kafka1.3.2下载地址:
http://archive.cloudera.com/kafka/parcels/1.3/
kafka_csds下载链接:
http://archive.cloudera.com/csds/kafka/
---------------------------------------------------------------------------------------------------------------------------------------------------------------------
原文如下:
参考CDH官网文档http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html
在CDH官网中关于Kafka的安装和升级中已经说到,在CDH中,Kafka作为一个分布式的parcel,单独出来作为parcel分发安装包。只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了,就可以实现完美集成了。
注意集成之前请阅读官方文档,特别是版本支持方面。
集成过程,直接上图:
Kafka安装包准备:
csd包:http://archive.cloudera.com/csds/kafka/
parcel包: http://archive.cloudera.com/kafka/parcels/latest/ (根据自己的集群的系统版本下载 )
我们这里centos6.7 x64的系统,注意下载对应的parcel包,如下图所示
在此得注意hash值的匹配
CDH集成Kafka实现:
1、将原来Kafka的在CDH中删除
2、csd包放到cm安装节点下的 /opt/cloudera/csd目录下,如图 :
3、将parcel包放到cm安装节点下的/opt/cloudera/parcel-repo目录下,如图:
4、启动cm服务,检查更新parcel,分配并激活percel包,注意此处一定要激活才能使用
5、添加kafka服务和配置角色节点
6、启动服务