kafka安装

kafka安装相对比较简单.基本上是以下几个步骤:

1. 下载kafka安装包

2. 解压安装包

3. 添加kafka的环境变量

4. 修改kafka的配置文件

5. 启动kafka服务

6. 使用kafka

 

下面分别介绍以上各步骤:

1. 下载kafka安装包

下载地址 : http://kafka.apache.org/downloads

我以kafka2.0.0为学习版本, 可以自己选择版本. kafka安装包的名字的数字分别是Scala的版本号和kafka的版本号,  官方也会提示出那个是推荐的版本

2. 解压安装包

将安装包放在服务器上并解压: tar -zxvf kafka_2.11-2.0.0.tgz

3. 添加kafka的环境变量

在/etc/profile 中添加kafka的环境变量并使其生效

添加环境变量: 

export KAFKA_HOME=/opt/application/kafka_2.11-2.0.0

export PATH=$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZK_HOME/bin:$PATH

使环境变量生效:

source /etc/profile

4. 修改kafka的配置文件

修改kafka的配置文件, ${KAFKA_HOME}/config/server.properties

其中主要修改以下参数: 

# broker id, 如果是集群情况下, 则集群中所有机器该值均不相同, 该值kafka服务唯一标识
broker.id=0

# advertised.listeners绑定公网ip给外部客户单使用, 
listeners=PLAINTEXT://:9092

# 绑定ip给外部客户端使用, 如果仅内网使用就配置内网ip, 否则配置外网ip
advertised.listeners=PLAINTEXT://192.168.13.161:9092

# zk的连接地址及节点. 我这里将kafka的相关信息存储在zk根节点下的kafka节点下, 便于管理
# 如果是zk集群, 则使用逗号分隔ip:端口,  127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002/kafka
zookeeper.connect=localhost:2181/kafka

5. 启动kafka服务

进入${KAFKA_HOME}/bin 目录

启动: ./kafka-server-start.sh  ../config/server.properties

初次启动使用该命令, 可以直接看到启动日志. 如果想使用守护进程且不看日志, 则在最后添加"&", 即:

nohup ../bin/kafka-server-start.sh  ../config/server.properties &

6. 使用kafka

进入${KAFKA_HOME}/bin 目录, 创建一个topic, 注意: 如果这里的zk地址路径信息和kafka.properties中配置的zk信息相同, 否则创建会失败

./kafka-topics.sh --zookeeper localhost:2181/kafka --create --topic topic-demo --replication-factor 1 --partitions 4

查看topic的信息

./kafka-topics.sh --zookeeper localhost:2181/kafka --describe --topic test-topic

如果都能正常看到响应信息则表示kafka集群已经成功启动了. 

此外还可以去zk中查看kafka的broker是否都启动成功, 如下图所有kafka broker id都有了,说明均启动成功了: