Kafka安装部署

实现目的：单机安装配置kafka

一、操作过程

1、安装JDK

2、下载kafka并解压

下载

kafka_2.10-0.10.1.1.tgz 

解压

tar zxvf kafka_2.10-0.10.1.1.tgz 

3、配置kafka

cd  kafka_2.10-0.10.1.1/config

vi server.properties 

broker.id=0

host.name=192.168.1.220  #服务器的IP

port=0

listeners=PLAINTEXT://:9092

log.dirs=/app/fzcore/kafka_2.10-0.10.1.1/logs/kafka

zookeeper.connect=localhost:2181  #zookeeper地址和端口，单机配置部署，localhost:2181

4、配置zookeeper

cd  kafka_2.10-0.10.1.1/config

vi zookeeper.properties

dataDir=/app/fzcore/kafka_2.10-0.10.1.1/zookeeper
dataLogDir=/app/fzcore/kafka_2.10-0.10.1.1/logs/zookeeper

clientPort=2181
maxClientCnxns=100
tickTime=10
syncLimt=5

5、创建启动，关闭kafka脚本

#创建启动脚本

cd  kafka_2.10-0.10.1.1/

vi kafkastart.sh 

/app/fzcore/kafka_2.10-0.10.1.1/bin/kafka-server-start.sh    /app/fzcore/kafka_2.10-0.10.1.1/config/server.properties &

#创建关闭脚本

vi kafkastop.sh

#!/bin/sh

/app/fzcore/kafka_2.10-0.10.1.1/bin/kafka-server-stop.sh    /app/fzcore/kafka_2.10-0.10.1.1/config/server.properties  &

#添加脚本的执行权限

chmod +x kafkastart.sh

chmod +x  kafkastop.sh

6、运行kafkastart.sh

7、Kafka创建topic

#创建

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

#查看

kafka-topics.sh --list --zookeeper localhost:2181 test

#启动生产都

kafka-console-producer.sh  --broker-list localhost:9092 --topic test

#启动消费者

kafka-console-consumer.sh  --zookeeper localhost:2181 --topic  test --from-beginning  

8、测试

生产者生产消息

消费者消费消息

9、删除Kafka的topic

kafka-topic --delete --zookeeper localhost:2181  --topic test

如果kafka启动时加载的配置文件server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除，而是把topic标记为:mark for deletion 

10、端口验证

netstat -tnlp|egrep "(2182|9092)"

10、在启动kafka之前应该先启动zookeeper