Kafka 命令集

本文介绍了如何在Kafka中创建topic,使用--bootstrap-server参数取代过时的--zookeeper参数,并演示了如何从beginning位移位置消费topic数据并输出到txt文件。
摘要由CSDN通过智能技术生成

kafka地址 10.194.98.45  (10.194.98.45:9092,10.194.98.43:9092,10.194.98.48:9092)
服务器安装地址:/usr/lib/cluster001/kafka

注意:Kafka 从 2.2 版本开始将 kafka-topic.sh 脚本中的 −−zookeeper 参数标注为 “过时”,推荐使用 −−bootstrap-server 参数。若读者依旧使用的是 2.1 及以下版本,请将下述的 --bootstrap-server 参数及其值手动替换为 --zookeeper zk1:2181,zk2:2181,zk:2181。一定要注意两者参数值所指向的集群地址是不同的

1.创建topic 命令

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic topicNameTest(注意是在kafka这层目录下)

2.消费某一topic的数据并输出到txt文件

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic BAYONET_VEHICLEALARM  --from-beginning > /home/vehiclealarm.txt

 --from-beginning 表示从指定主题中有效的起始位移位置开始消费所有分区的消息

不填--from-beginning表示表示从 latest 位移位置开始消费该主题的所有分区消息,即仅消费正在写入的消息。

您好!要搭建 Kafka 的高可用集群,您需要进行以下步骤: 1. 安装并配置 ZooKeeper:Kafka 使用 ZooKeeper 来管理集群的元数据和协调功能。您需要安装 ZooKeeper 并配置其集群模式。确保 ZooKeeper 集群正常运行,并且具有足够的容错性。 2. 下载和解压 Kafka:从 Apache Kafka 的官方网站下载并解压最新版本的 Kafka。 3. 配置 Kafka:在每个 Kafka 节点上,编辑 Kafka 的配置文件 `config/server.properties`。确保以下配置项正确设置: - `broker.id`:每个节点的唯一标识。 - `listeners`:指定 Kafka 监听的主机和端口。 - `log.dirs`:指定 Kafka 存储日志文件的目录。 - `zookeeper.connect`:指定连接到 ZooKeeper 集群的地址。 4. 启动 Kafka 节点:在每个节点上,使用命令行启动 Kafka 服务器。您可以使用以下命令: ``` bin/kafka-server-start.sh config/server.properties ``` 5. 创建 Kafka Topic:使用 Kafka 提供的命令行工具 `kafka-topics.sh` 创建您需要的主题。 6. 配置副本:为了实现高可用性,您需要为每个主题配置多个副本。使用 `kafka-topics.sh` 工具来创建多个副本。 7. 测试集群:使用 Kafka 提供的命令行工具发送和接收消息,来测试您的 Kafka 集群是否正常工作。 这些是搭建 Kafka 高可用集群的基本步骤。请注意,在生产环境中搭建高可用集群时,还需要考虑更多因素,如数据备份、监控和故障恢复等。希望对您有所帮助!如果您有任何进一步的问题,请随时问我。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值