cdh添加Kafka服务配置项注意事项

一、安装准备：
下载对应版本所需软件：
①kafka csd包,下载地址：http://archive.cloudera.com/csds/kafka/
②kafka parcel包：
地址：http://archive.cloudera.com/kafka/parcels/latest/，根据操作系统，下载对应的包
二、开始安装
1.上传kafka
注意，以下操作，需要在你CDH的所有机器执行，不然待会检测不到。
①上传CSD包KAFKA-1.2.0.jar，到服务器CDH目录下，路径为/opt/cloudera/csd
②上传parcel包中的那3个文件，到目录/opt/cloudera/parcel-repo下，注意如果有文件重名，如manifest那个文件，把以前的重命名为其他名字
2.分配，激活
进入CDH的管理界面，点击主机->parcel->检查新parcel
如果成功，则会看到你的kafka一项，并且有分配按钮，点击分配，等待，然后分配按钮编程激活按钮，点击激活，等待，操作成功后如下
OK kafka安装完成
三、善后工作
1、安装完成后，便可以在添加服务里，添加kafka服务了。这里如果遇到最后一步，启动kafka的时候，失败报错如下：
Fatal error during KafkaServerStartable startup. Prepare to shutdown java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.(HeapByteBuffer.java:57) at java.nio.ByteBuffer.allocate(ByteBuffer.java:335) at kafka.log.SkimpyOffsetMap.(OffsetMap.scala:43) at kafka.log.LogCleaner$CleanerThread.(LogCleaner.scala:186) at kafka.log.LogCleaner
anonfun$1.apply(LogCleaner.scala:83)atkafka.log.LogCleaneranonfun$1.apply(LogCleaner.scala:83)atkafka.log.LogCleaner
anonfun$1.apply(LogCleaner.scala:83)
这是因为 Java Heap Size配置小了（奇怪的是安装kafka的时候没提示设置），这里如下解决：
回到CDH主页面，点击kafka，进入配置页面，修改 Java Heap Size of Broker为1G，如下图所示，然后保存，重启KAFKA

2、kafka.common.InconsistentBrokerIdException: Configured broker.id 77 doesn’t match stored broker.id 73 in meta.properties. If you moved your data, make sure your configured broker.id matches. If you intend to create a new broker, you should remove all data in your data directories (log.dirs).
这是因为broker id不匹配
回到CDH主页面，点击kafka，进入配置页面，修改 Broker ID为对应值，如下图所示，然后保存，重启KAFKA

3、配置情况如下：
Destination Brokers List：master:9092,node01:9092,node02:9092（逗号分隔）
Source Brokers List：master:9092,node01:9092,node02:9092（逗号分隔）
Topic Whitelist：master:9092（如果不添加白名单，可能会出现“whitelist must be specified when using new consumer in mirror maker”的错误）