CDH已经安装好,但是kafka一直错,根据日志也没改好,所以删了服务之后,重新添加了kafka服务,完成配置,运行成功。
- 添加服务->选择kafka
- 定义kafka Broker,kafka MirrorMaker,Gateway的角色分配,我分别添加了三个节点(master,node01,node02),一个主节点(master),和两个子节点(node01,node02)
- 配置Destination Broker List,Source Broker List,Topic Whitelist
配置情况如下:
Destination Brokers List:master:9092,node01:9092,node02:9092(逗号分隔)
Source Brokers List:master:9092,node01:9092,node02:9092(逗号分隔)
Topic Whitelist:master:9092(如果不添加白名单,可能会出现“whitelist must be specified when using new consumer in mirror maker”的错误) - 启动服务,如果报错再配置broker id。
- 如果报内存的错误,再调整内存的大小比例。