安装测试kafka-3.0.0

本文档详细介绍了如何安装Kafka 3.0.0,包括下载、解压、配置server.properties、环境变量设置、启动脚本编写以及测试创建和使用topic的过程。

1.下载

 wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.12-3.0.0.tgz --no-check-certificate

2.解压并同步到其他节点

tar -zxvf kafka_2.12-3.0.0.tgz -C ../src
pscp -h /node.list -r kafka_2.12-3.0.0 /opt/src/
pssh -h /node.list -i ls /opt/src/
pssh -h /node.list -i ln -s /opt/src/kafka_2.12-3.0.0 /opt/src/kafka

在这里插入图片描述

3.修改配置

修改 server.properties
vim /opt/src/kafka/config/server.properties

分别配置
node001:

broker.id=0
listeners=PLAINTEXT://node001:9092
zookeeper.connect=node001:2181,node002:2181,node003:2181  

node002:

broker.id=1
listeners=PLAINTEXT://node002:9092
zookeeper.connect=node001:2181,node002:2181,node003:2181  

node003:

broker.id=2
listeners=PLAINTEXT://node003:9092
zookeeper.connect=node001:2181,node002:2181,node003:2181  

4.配置环境变量同步到其他节点并激活

vim /root/.bashrc

### 如何逐步部署 Apache Kafka Apache Kafka 是一种分布式流处理平台,用于构建实时数据管道和流应用。以下是关于如何部署 Kafka 的详细指南: #### 1. 安装依赖项 在安装 Kafka 前,需确保已安装 Java 和 Zookeeper。Zookeeper 是 Kafka 集群的核心组件之一,负责管理集群的状态和其他元数据[^1]。 ```bash sudo apt update sudo apt install openjdk-11-jdk -y java -version ``` 验证 Java 是否成功安装并设置环境变量 `JAVA_HOME`。 对于 Zookeeper 的安装,可以下载官方二进制文件或通过包管理器完成: ```bash wget https://archive.apache.org/dist/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz tar -xzf apache-zookeeper-*.gz cd apache-zookeeper-* cp conf/zoo_sample.cfg conf/zoo.cfg ``` 启动 Zookeeper 实例: ```bash bin/zkServer.sh start ``` #### 2. 下载并配置 Kafka 从官方网站获取最新版本的 Kafka 并解压到目标目录: ```bash wget https://downloads.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz tar -xzf kafka_2.13-3.0.0.tgz cd kafka_2.13-3.0.0/ ``` 编辑 Kafka 的主要配置文件 `server.properties` 来调整日志路径、端口以及其他参数。默认情况下,Kafka 使用的是 `/tmp/kafka-logs` 路径存储消息数据。 #### 3. 启动 Kafka Broker 一旦 Zookeeper 成功运行,即可启动 Kafka broker: ```bash bin/kafka-server-start.sh config/server.properties & ``` 此命令将在后台启动 Kafka server,并监听默认端口 (9092)。 #### 4. 创建主题并测试生产者消费者模型 创建一个新的 Kafka 主题以便发送和接收消息: ```bash bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 3 --replication-factor 1 ``` 随后可以通过内置工具模拟生产和消费过程: ```bash # 生产者客户端 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic # 消费者客户端 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test-topic ``` 如果一切正常工作,则表明 Kafka 已经被正确部署[^2]。 #### 5. 运行样例 Pod 文件(可选) 为了进一步简化操作,在 Kubernetes 或其他容器编排平台上可以直接利用 YAML 文件定义服务资源对象。例如保存如下内容至名为 `sample-pod.yaml` 的文档中再执行 kubectl apply 命令来快速搭建测试环境: ```yaml apiVersion: v1 kind: Pod metadata: name: kafka-client spec: containers: - name: kafka-client-container image: confluentinc/cp-kafka:latest command: ["sleep", "infinity"] ``` #### 外部扩展选项 除了标准方式外,还有多种云服务商提供托管型解决方案减少运维负担。比如亚马逊 Web Services 提供了 ECS Anywhere 功能允许用户将本地物理设备作为计算节点加入集中管理系统之中从而实现混合架构下的高效协作[^4]。 ---
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值