kafka集群搭建

kafka单机安装

安装步骤

• 配置主机名和IP映射
• 关闭防火墙&防火墙开机自启动
• 安装JDK1.8+，配置JAVA_HOME
• 安装&启动Zookeeper
• 安装&启动|关闭Kafka

1、配置主机名和IP映射

详见：静态IP修改

2、关闭防火墙&防火墙开机自启动

详见：关闭防火墙

3、Java8安装

安装及配置详见：Java8安装

4、Zookeeper集群搭建

搭建详见：Zookeeper集群搭建

5、安装Kafka

注：kafka-node01为我的主机名，对应替换

// 新建安装目录
mkdir /usr/local/kafka

cd /usr/local/kafka

// 下载压缩包
wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.12-2.6.0.tgz

// 解压
tar -xf kafka_2.12-2.7.0.tgz

// 修改配置文件server.properties
1. 监听主机
listeners=PLAINTEXT://kafka-node01:9092
2.日志文件目录
log.dirs=/usr/local/kafka-2.1/data/kafka-logs
3.zk
zookeeper.connect=kafka-node01:2181

启动kafka

./kafka-server-start.sh -daemon ../config/server.properties

查看开启状态：jps

关闭kafka

./kafka-server-stop.sh

---

创建Topic

./kafka-topics.sh --bootstrap-server kafka-node01:9092 --create --topic topic01 --partitions 3 --replication-factor 1

创建消费者

# 消费者组1
./kafka-console-consumer.sh --bootstrap-server kafka-node01:9092 --topic topic01 --group group1

# 消费者组2
./kafka-console-consumer.sh --bootstrap-server kafka-node01:9092 --topic topic01 --group group2

创建生产者

 ./kafka-console-producer.sh --broker-list kafka-node01:9092 --topic topic01

时间同步

ntpdate ntp1.aliyun.com
clock -w