CDH添加kafka

安装 Kafka 组件 配置 Kafka parcel 包 在 Web 页面中，主机 -> Parcel  里面会列出当前集群以配置和分配的 parcel 包，目前只配置了 CDH5，Kafka 单独存在于其他 parcel 包中，所以需要单独加载 parcel ，然后分配到集群内各节点。 
 
Cloudera官方Kafka组件的parcel包下载地址为： http://archive.cloudera.com/kafka/parcels/latest/  
照旧下载 percel 文件，以及该文件的 sha1 串，然后重命名 ***.sha1 为 ***.sha 方可。
下载好以上两个文件后，放到 cm-server 节点的 /opt/cloudera/parcel-repo/ 目录下 
 
无需重启 server 守护进程，在页面即可在线刷新、分配、激活。
集群内安装 Kafka 服务    
这里需要确认和修改 2 个默认配置

• 复制进程，默认为1，修改为 3（视业务量而定）
• 分区数，默认分区数为 50，这里暂且保留。
• 删除旧topic，默认打开，不做更改。
  

业务端口为 9092 。
配置 HDFS LZO 压缩 LZO 功能也是封装在单独的 parcel 包中，选择对应平台的包。 
下载地址为： http://archive-primary.cloudera.com/gplextras/parcels/latest/  
这里并没有直接的提供 sha 文件，所以需要查看 manifest.json 文件，找到对应 parcel 包的 hash 值，手动保存至本地文件即可。
下载 parcel 包及其 sha 文件，存放至 cm-server 的 /opt/cloudera/parcel-repo/ 目录下。