1、下载:
http://kafka.apache.org/
2、安装步骤:
http://kafka.apache.org/documentation.html#quickstart
没有按照上面的步骤执行./sbt
修改 conf/server.properties
zookeeper.connect=192.168.27.101:2181
broker.id分别改成
broker.id=0
host.name分别改成(如果不改,client访问集群时,如果没在hosts配置对应机器的 hostname,访问将会报错)
host.name=192.168.27.101
可根据需求修改
port: broker节点使用端口号 默认 9092
log.dir: 消息目录位置
3. 启动Kafka
cd /usr/local/kafka_2.8.0-0.8.0
JMX_PORT=9999 bin/kafka-server-start.sh config/server.properties & (似乎是多个broker安装在同一机器需要指定JMX_PORT,这里可以不指定)
其中需要先启动zookeeper,zookeeper为安装storm时已安装
//启动报错Unrecognized VM option '+UseCompressedOops'
查看 bin/kafka-run-class.sh
找到
if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
fi
去掉-XX:+UseCompressedOops
4、测试
创建主题
bin/kafka-create-topic.sh --zookeeper 192.168.27.101:2181 --partition 1 --topic mytest
bin/kafka-list-topic.sh --zookeeper 192.168.27.101:2181
生产者,消费者测试
bin/kafka-console-producer.sh --broker-list 192.168.27.101:9092 --topic mytest
wo
yes
//输入命令后,输入字符串
bin/kafka-console-consumer.sh --zookeeper 192.168.27.101:2181 --topic mytest --from-beginning
wo
yes
//即回显示数据