kafka安装配置及与logstash集成

1、kafka安装

下载   wget http://mirror.bit.edu.cn/apache/kafka/0.8.2.2/kafka_2.9.1-0.8.2.2.tgz

配置zookeeper     vim bin/zookeeper-server-start.sh   根据机器状况更改jvm 内存设置

配置kafka             vim bin/kafka-server-start.sh            根据机器状况更改jvm 内存设置

启动zookeeper       nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

启动kafka               nohup bin/kafka-server-start.sh config/server.properties &

创建topic               bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic  pay

查看topic               bin/kafka-topics.sh --list --zookeeper localhost:2181

启动producer         bin/kafka-console-producer.sh --broker-list localhost:9092 --topic pay

启动consumer       bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic pay --from-beginning

多broker集群配置：

cp config/server.properties config/server-1.properties

cp config/server.properties config/server-2.pro