Kafka集群安装指南
该文档是建立在已经安装好JAVA JDK的基础上,并且设置好$JAVA_HOME环境变量。
一、 Kafka安装
1. 解压kafka安装包
获取包wget http://apache.fayea.com/apache-mirror/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz,
执行 tar -zxvf kafka_2.9.2-0.8.1.1.tgz
2. 配置kafka
配置环境变量 KAFKA_HOME
分别在集群机器上配置$KAFKA_HOME/config/server.properties
broker.id=0 (每个集群机器标识唯一)
listeners=PLAINTEXT://192.168.1.54:9092 (每个机器对应IP)
log.dirs=/opt/huawei/imax/kafka/log (日志存储位置)
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181 (zookeeper 安装机器)
备注:这里kafka依赖于Zookeeper的环境进行数据一致性管理,这里使用的Zookeeper是外部安装配置,没有使用kafka内置的。
3. 启动kafka服务
在各个集群机器上执行
$KAFKA_HOME/bin/kafka-server-start.sh$KAFKA_HOME/config/server.properties &
4. 验证安装是否成功
a) JPS查看进程是否存在Kafka
b) 新建一个topic是否成功
$KAFKA_HOME/bin/kafka-topics.sh--create --topic test --replication-factor 3 --partitions 1 --zookeeperzk1:2181