Kafka---Kafka安装(单机版)

该文章详细介绍了如何在单机上安装Kafka,包括上传和解压压缩包,修改配置文件如`server.properties`,设置`broker.id`,`advertised.listeners`等参数,启动Zookeeper和Kafka服务,创建topic,以及生产和消费消息的基本操作。
摘要由CSDN通过智能技术生成

Kafka安装(单机版)



上传压缩包

将压缩包上传到/opt/install
在这里插入图片描述

解压

tar -zxf ./kafka_2.12-2.8.0.tgz -C …/soft/

更名

切换到/opt/soft/目录下

mv kafka_2.12-2.8.0/ kafka212

配置文件

cd /opt/soft/kafka212/config
vim ./server.properties

在这里插入图片描述

21 broker.id=0  集群的话需要改
36 advertised.listeners=PLAINTEXT://192.168.95.150:9092
60 log.dirs=/opt/soft/kafka212/data    消息存放目录
103 log.retention.hours=1680           消息存放时间小时
123 zookeeper.connect=192.168.95.150:2181  连接zookeeper
137 delete.topic.enable=true      设置可以对topic删除,默认不能删除

修改myid

mkdir /opt/soft/kafka212/data
echo "0">/opt/soft/kafka212/data/myid

在这里插入图片描述

启动zookeeper

zkServer.sh start
zkServer.sh status

在这里插入图片描述

启动kafka

nohup kafka-server-start.sh /opt/soft/kafka212/config/server.properties &

在这里插入图片描述

创建topic

这个创建两个topic
first—分区1,副本1
bigdata—分区3,副本1

kafka-topics.sh --create --zookeeper 192.168.95.150:2181 --topic first --partitions 1 --replication-factor 1
kafka-topics.sh --create --zookeeper 192.168.95.150:2181 --topic bigdata --partitions 3 --replication-factor 1

查看消息队列

kafka-topics.sh --zookeeper 192.168.95.150:2181 --list

在这里插入图片描述

查看消息队列详情

kafka-topics.sh --describe --zookeeper 192.168.95.150:2181 --topic first

在这里插入图片描述

kafka-topics.sh --describe --zookeeper 192.168.95.150:2181 --topic bigdata

在这里插入图片描述

生产消息

这里向topic 是bigdata发送了三条数据

kafka-console-producer.sh --topic bigdata --broker-list 192.168.95.150:9092

在这里插入图片描述

消费消息

假设消费者只获取第三条
可以加参数 --from-beginning 从头获取

kafka-console-consumer.sh --bootstrap-server 192.168.95.150:9092 --topic bigdata

在这里插入图片描述

kafka-console-consumer.sh --bootstrap-server 192.168.95.150:9092 --topic bigdata --from-beginning

在这里插入图片描述

查询指定对列消息数量

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.95.150:9092 --topic bigdata

在这里插入图片描述

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Kubernetes (k8s) 是一个开源的容器编排平台,用于自动化容器化应用程序的部署、扩展和管理。要在 k8s 上安装 Kafka(一个分布式流处理平台)的单机版,首先你需要确保你的 k8s 集群已经设置好,并且具备运行 Docker 或者 Kubernetes 的能力。 以下是简单的步骤: 1. **下载 Kafka**: 从 Apache Kafka 官网下载适合的版本,例如 tar.gz 或者二进制镜像。你可以选择单节点模式,因为这是一个演示,但在生产环境中通常会使用多节点复制。 2. **部署 Kafka:** - 创建一个 Kubernetes Deployment 根据下载的 Kafka 镜像。这需要一个 YAML 文件,例如 `kafka-deployment.yaml`,内容包括了 Deployment 的名称、Kafka容器的镜像标签以及必要的环境变量(如 `ZOOKEEPER_CONNECT`、`KAFKA_LISTENERS` 等)。 ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: kafka spec: replicas: 1 selector: matchLabels: app: kafka template: metadata: labels: app: kafka spec: containers: - name: kafka image: confluentinc/cp-kafka:latest env: - name: ZOOKEEPER_CONNECT value: "localhost:2181" - name: KAFKA_ADVERTISED_LISTENERS value: "PLAINTEXT://localhost:9092" ``` 3. **创建 Service:** 使用 Kubernetes Service 来暴露 Kafka 服务的端点。创建一个 `kafka-service.yaml`,定义一个 ClusterIP 类型的服务,暴露 Kafka 的端口 9092。 ```yaml apiVersion: v1 kind: Service metadata: name: kafka-service spec: type: ClusterIP selector: app: kafka ports: - name: kafka port: 9092 targetPort: 9092 ``` 4. **应用配置并部署:** 在你的 kubectl 命令行中,使用 `kubectl apply -f` 命令分别应用 Deployment 和 Service 的配置文件: ```bash kubectl apply -f kafka-deployment.yaml kubectl apply -f kafka-service.yaml ``` 5. **验证安装:** 使用 `kubectl get pods,svc` 确认 Kafka 的 Deployment 是否已启动并处于 Running 状态,Service 是否成功创建。 6.
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值