Kafka之单点部署

一、下载安装包

我们这里下载的是kafka_2.12-2.0.0.tgz

二、解压到/opt/kafka目录下

三、修改配置文件

zookeeper.propertoes文件（先手动创建zookeeper目录）

dataDir=/opt/kafka/kafka_2.12-2.0.0/zookeeper

 server.propertis文件（先手动创建logs目录）

log.dirs=/opt/kafka/kafka_2.12-2.0.0/logs
listeners=PLAINTEXT://192.168.37.137:9092

zookeeper.connect=192.168.37.137:2181

produce.properties

bootstrap.servers=192.168.37.137:9092

consumer.properties

bootstrap.servers=192.138.37.137:9092

四、启动

进入/opt/kafka/kafka_2.12-2.0.0/bin目录下

①先启动zookeeper

./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

 执行lsof命令，验证zookeeper已经启动，默认占用2181端口

lsof -i:2181

COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    6579 root  100u  IPv6  74214      0t0  TCP *:eforward (LISTEN)

②启动kafka broker

./kafka-server-start.sh -daemon ../config/server.properties

执行lsof命令，验证kafka broker已经启动，默认占用9092端口

lsof -i:9092

COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    7053 root  105u  IPv6  74939      0t0  TCP *:XmlIpcRegSvc (LISTEN)
java    7053 root  121u  IPv6  74945      0t0  TCP localhost:55716->localhost:XmlIpcRegSvc (ESTABLISHED)
java    7053 root  122u  IPv6  74946      0t0  TCP localhost:XmlIpcRegSvc->localhost:55716 (ESTABLISHED)

五、使用

创建topic

sh kafka-topics.sh --create --zookeeper 192.168.37.137:2181 --replication-factor 1 --partitions 1 --topic test

验证toipic是否创建成功

 sh kafka-topics.sh --list --zookeeper 192.168.37.137:2181
 test

单机连通性测试：

①启动生产者

sh kafka-console-producer.sh --broker-list 192.168.37.137:9092 --topic test

其中，broker-list和topic这两个参数是必须的，broker-list指定要连接的broker，格式为node_address:port。topic是必须的，因为需要发送消息给订阅了该topic的consumer group。

②启动消费者

 sh kafka-console-consumer.sh --bootstrap-server 192.168.37.137:9092 --topic test --from-beginning

在producer端输入字符串并回车，consumer端显示则表示成功。

③KafkaOffsetMonitor控制台

下载KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar

java -cp KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --offsetStorage kafka --kafkaBrokers 192.168.37.137:9092 --zk 192.168.37.137:2181 --port 8088 --refresh 10.seconds  --retain 2.days  &

访问

http://192.168.37.137:8088

能看到监控信息

④关闭

停止kafka broker

sh kafka-server-stop.sh

停止zookeeper

sh zookeeper-server-stop.sh