1:版本选择
因为前面采用了2.11scala版本,所以这里采用 2.11-2.3.0版本
2:下载
3:解压
当前解压地址:/opt/kafka_2.11-2.3.0
4:配置环境变量
# kafka
export KAFKA_HOME=/opt/kafka_2.11-2.3.0
export PATH=${PATH}:${KAFKA_HOME}/bin
5:source /etc/profile 生效配置
6:安装前置条件,需要提前安装zookeeper
7:配置文件配置
a:$KAFKA_HOME/conf/server.properties*****************单节点单broker*****************************
broker.id=0:broker实例个数
listeners:监听端口
host.name:主机名
log.dirs:log文件存放地址
zookeeper.connect:zookeeper host + port
num.partitions:分区数量
delete.topic.enable=true
b:$KAFKA_HOME/conf/server.properties******************单节点多broker*****************************
1:复制server.properties
2:修改监听端口
3:修改broker.id
4:修改日志路径
broker.id=0:broker实例个数
listeners:监听端口
host.name:主机名
log.dirs:log文件存放地址
zookeeper.connect:zookeeper host + port
num.partitions:分区数量
delete.topic.enable=true
8:启动kafka
单节点单broker:
bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties &
单节点多broker:
bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties &
bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server-2.properties &
bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server-3.properties &
9:查看进程 jps -m
10:创建topic
单节点单broker:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic hello
单节点多broker:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic hello_list_a (1个分区3个副本)
需要指定zookeeper的地址端口
11:查看topic列表
bin/kafka-topics.sh --list --zookeeper localhost:2181
12:查看topic详情
bin/kafka-topics.sh --describe --zookeeper localhost:2181
PartitionCount:1 分区数是从配置文件中设置的
Partition:0 分区数是从0开始
Replicas:0 副本在当前机器上
leader:0 当前是leader
Isr:3.1.2 当前可用的副本
13:创建生产者
单节点单broker:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic hello
单节点多broker:
bin/kafka-console-producer.sh --broker-list localhost:9093,localhost:9094,localhost:9095 --topic hello_list_a
14:创建消费者
bin/kafka-console-consumer.sh --bootstrap-server localhost:9093 --topic hello --from-beginning
from-beginning:表示从头开始消费(命令中可以写也可以不写,不写的话只会从现在开始消费,不会从头开始)
15:查看指定topic信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic hello
16:删除topic
bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic hello_list