Kafka安装与启动经验分享:避免常见错误,让消息传递更顺畅

💬 初识kafka
👁️‍🗨️ kafka的安装及启动

在这里插入图片描述

主页传送门:📀 传送

概述


  Kafka是一个开源的分布式消息队列系统,最初由LinkedIn公司开发。它可以用于构建高吞吐量、低延迟的数据管道,支持实时数据处理和流式计算。

  Kafka的核心概念是消息(Message)、主题(Topic)和分区(Partition)。消息是数据的基本单位,可以包含任何类型的数据。主题是消息的分类或分类器,将消息分配到不同的主题中以便进行处理。分区是主题的子集,每个分区都有自己的副本和控制器。当消息被写入Kafka时,它们首先被写入主分区,然后被复制到所有副本分区中。如果一个副本分区不可用,则其他副本分区会继续接收和处理该消息,从而保证数据的可靠性和可用性。

Kafka具有以下特点

  1. 高吞吐量:Kafka可以处理数百万条消息每秒,支持大规模并发处理。
  2. 低延迟:Kafka使用异步IO模型,可以在毫秒级别内处理消息。
  3. 可扩展性:Kafka可以轻松地扩展到数千个节点,以应对不断增长的数据需求。
  4. 可靠性:Kafka通过副本机制和控制器确保数据的可靠性和可用性。
  5. 灵活性:Kafka支持多种数据格式和协议,可以与各种应用程序集成。

  初步了解了kafka的基本概念之后我们来下载安装使用。

🥖1. 官网下载:🥖


  download
在这里插入图片描述
  根据官网提示 最好是下载scala 2.13相关的版本
3.4.0是最新的稳定版本 可以看到新增了一些功能还有改进了一些功能
新加的功能

  • 禁用 JmxReporter 注册
  • 允许广播结果记录
  • 在消费者协议中添加“生成”字段
  • 基于时间的集群元数据快照

在这里插入图片描述

🍗2. 解压 🍗


  工具解压 或者命令解压

命令解压参照下方命令:
在这里插入图片描述

🍢3. 安装jdk🍢


根据提示 使用之前需要安装jdk8以上 如果没有安装的自己装一下即可 具体安装及配置网上很多这里就不详细写了

jdk下载地址https://www.oracle.com/java/technologies/downloads/

在这里插入图片描述

🍬4. 配置kafka🍬


4.1 配置server.properties


在这里插入图片描述
  进入到config文件夹里面,找到server.properties文件,进行编辑,找到log.dirs,修改这个参数的路径为:
log.dirs=(安装目录\kafka-logs)

4.2 配置zookeeper.properties


  进入到config文件夹里面,找到zookeeper.properties文件,进行编辑,找到dataDir,修改这个参数的路径为:
dataDir=(安装目录\zookeeper-data)

配置完毕,kafka安装完成。

💤5. 启动kafka💤

  安装完毕之后来启动kafka


在这里插入图片描述
windows kafka启动命令
(1):
打开cmd,进入kafka安装目录,执行:
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

(2):
再打开一个cmd,进入kafka安装目录,执行:
.\bin\windows\kafka-server-start.bat .\config\server.properties

在这里插入图片描述

  如果喜欢的话,欢迎 🤞关注 👍点赞 💬评论 🤝收藏  🙌一起讨论
  你的支持就是我✍️创作的动力!					  💞💞💞
  • 4
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
要在Docker中启动Kafka,你可以使用官方提供的Docker镜像。以下是一些简单的步骤: 1. 安装Docker:确保你已经在你的机器上安装了Docker。 2. 下载Kafka镜像:打开终端并执行以下命令来拉取Kafka镜像: ``` docker pull wurstmeister/kafka ``` 3. 创建一个网络:执行以下命令创建一个Docker网络,以便Kafka容器可以相互通信: ``` docker network create kafka-network ``` 4. 启动Zookeeper容器:执行以下命令来启动一个Zookeeper容器: ``` docker run -d --name zookeeper --network kafka-network -p 2181:2181 -e ZOOKEEPER_CLIENT_PORT=2181 confluentinc/cp-zookeeper:latest ``` 5. 启动Kafka容器:执行以下命令来启动一个Kafka容器,并将其连接到Zookeeper容器: ``` docker run -d --name kafka --network kafka-network -p 9092:9092 -e KAFKA_ADVERTISED_HOST_NAME=<your_host_ip> -e KAFKA_ADVERTISED_PORT=9092 -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 wurstmeister/kafka ``` 注意将`<your_host_ip>`替换为你的主机IP地址。 6. 验证Kafka是否成功启动:执行以下命令来验证Kafka是否成功启动: ``` docker exec -it kafka /opt/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092 ``` 如果Kafka启动成功,你将会看到一个空的主题列表。 现在,你已经在Docker中成功启动Kafka。你可以使用Kafka客户端工具来与Kafka进行交互。如果需要详细的配置和使用说明,请参考Kafka和Docker的官方文档。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

家有娇妻张兔兔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值