Kafka集群环境搭建,需要准备好一个zookeeper环境(集群),实现部署好,这里不进行讲解
说明:kafka名中的2.12是Scala语言版本,后面的0.11.0.2是kafka版本,端口默认为9092。
1.下载kafka并解压
[root@server-1 ~]# tar zxvf kafka_2.12-0.11.0.2.tgz -C /opt/
2. 编辑配置文件
进入到config目录,编辑配置文件:server.properties
[root@server-1 config]# vim server.properties
同样的操作在server-2和server-3上修改一下broker.id和host.name,不再赘述。
3. 启动Kafka
切换到bin目录中,查看相关脚本:
[root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
// -daemon:以后台方式启动
查看9092端口状态,确保服务已经启动;
同样的,启动server-2和server-3:
至此,kafka安装启动完成。
关闭命令: [root@server-1 bin]# ./kafka-server-stop.sh //不带任何参数即可
创建首个topic
./kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-factor 2 --partitions 3 --topic test02
参数解释:
复制两份
--replication-factor 2
创建1个分区
--partitions 1
topic 名称
--topic tttt
查看存在的topic
./kafka-topics.sh --list --zookeeper node01:2181,ndode02:2181,node03:2181
删除存在的topic
./kafka-topics.sh --delete --zookeeper node01:2181,ndode02:2181,node03:2181 --topic test01
生产者生产数据
./kafka-console-producer.sh --broker-list node01:9092 --topic test02
消费者消费数据
bin/kafka-console-consumer.sh --bootstrap-server node01:9092 --topic test02 --from-beginning