kafka安装和测试

最新推荐文章于 2024-09-08 00:09:00 发布

Cnnnnnnnnn，

最新推荐文章于 2024-09-08 00:09:00 发布

阅读量111

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/weixin_43698185/article/details/102547121

版权

hadoop 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文详细介绍了如何在Linux环境中安装和配置Kafka，包括解压安装包、设置环境变量、修改配置文件、启动Zookeeper和Kafka服务。同时，还提供了创建、删除主题，以及创建生产者和消费者的基本操作步骤。

摘要由CSDN通过智能技术生成

kafka需要依赖zookeeper

下载地址https://mirrors.aliyun.com/apache/kafka/

1、解压kafka

tar -zxvf kafka..... -C apps/

2、配置kafka环境变量

vi /etc/profile

在最后增加

exoper KAFKA_HOME=/root/apps/kafka.....

exoper $KAFKA_HOME/bin

3、修改kafka的配置文件

vi apps/kafka..../config/server.properties

，需要修改4个地方

一、这里id必须是唯一的

二、修改listeners=PLAINTEXT://ip:9092

三、修改日志保存地址

四、修改zookeeper的集群地址

4、启动所有安装有zookeeper机器的zkServer.sh

5、启动所有机器的kafka-server-start.sh需要加载配置文件

kafka-server-start.sh apps/kafka......./config/server.properties &

---------------------------------------------------kafka测试------------------------------------------------------

创建主题

kafka-topics.sh --create --zookeeper hdp-1:2181,hdp-2:2181,hdp-3:2181 --replication-factor 3 --partitions 3 --topic test

kafka-topics.sh
--create 创建主题
--zookeeper hdp-1:2181,hdp-2:2181,hdp-3:2181 zookeeper集群地址
--replication-factor 3 每个分区的副本数量
--partitions 3 创建分区数量
--topic name 创建主题的名字
删除主题
kafka-topics.sh
--delete
--zookeeper hdp-1:2181,hdp-2:2181,hdp-3:2181
--topic name
创建生产者
kafka-console-producer.sh
--broker-list
--hdp-1:9092,hdp-2:9092,hdp-3:9092
--topic name
创建消费者
kafka-console-consumer.sh
--bootstrap-server hdp-1:9092,hdp-2:9092,hdp-3:9092
--topic name
--from-beginning
查看描述
kafka-topics.sh
--describe
--zookeeper hdp-1:2181,hdp-2:2181,hdp-3:2181
--topic name