Kafka最全单机安装完整步骤加测试！！

最新推荐文章于 2024-05-23 17:00:35 发布
最新推荐文章于 2024-05-23 17:00:35 发布
阅读量2.7k 收藏 14
点赞数 1
分类专栏： hadoop环境平台搭建 文章标签： kafka zookeeper linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39361934/article/details/106622516
版权
Kafka安装步骤：1.安装JDK1.81 .1 安装：2.安装zookeeper （配置单机模式）2.1 下载地址：[http://mirrors.hust.edu.cn/apache/zookeeper/](http://mirrors.hust.edu.cn/apache/zookeeper/)3. 安装kafka：3.1 下载3.2修改配置文件：3.3测试生产消费：启动ZK启动Kafka创建topic查看topic list生产消息消费消息从0开始消费所有消息1.安装JDK1.8首先kafka.
摘要由CSDN通过智能技术生成

在这里插入图片描述

Kafka安装步骤：

1.安装JDK1.8

首先kafka安装前，要先安装zookeeper 和 jdk
官方下载：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html

1 .1 安装：

rpm -ivh jdk-8u202-linux-x64.rpm


#查看真实目录位置

cd /usr/bin/ && ll  | grep java
cd /etc/alternatives && ll  | grep -w "java ->"
cd /usr/java/jdk1.8.0_202-amd64 && ll
找到java目录：/usr/java/jdk1.8.0_202-amd64/

vim /etc/profile

在最尾部，追加：
export JAVA_HOME=/opt/jdk/jdk1.8.0_73
export ZOOKEEPER_HOME=/opt/zk/zookeeper-3.4.12
export PATH
最低0.47元/天 解锁文章
蛋蛋淡淡定
关注
  • 1
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Kafka系列：Kafka安装完整步骤
NIO4444
04-21 3882
下载 http://kafka.apache.org/downloads.html 修改配置 修改server.properties #broker的全局唯一编号，不能重复 broker.id=0 #用来监听链接的端口，producer或consumer将在此端口建立连接 port=9092 #处理网络请求的线程数量 num.networ...
【kafka专栏】kafka3.0版本不再需要zookeeper，替代方案是什么？
字母哥博客
05-13 7508
在2.8版本之前，kafka都是强依赖zookeeper这个分布式服务协调管理工具的。在kafka2.8版本开始尝试从服务架构中去掉zookeeper，到了3.0版本这个工作基本上完成，这是kafka的一个非常重要的里程碑。 如果想要理解kafka3.0的新架构设计，实际上我们还是有必要理解kafka2.x版本中中zookeeper的作用是什么？为什么要在3.0版本中去掉？使用什么技术代替了kafka？
【安装】kafka基础（3）：kafka 单机与集群安装
hiliang521的博客
08-29 1307
kafka启动的时候不需要scala环境，只有编译源码的时候需要， 运行的时候是在jvm运行的，所以需要jdk环境就可。kafka支持单机和集群模式，学习阶段推荐使用单机，单机和集群在操作上是没有区别的。zk的每一个目录称之为节点（ZNode），ZNode节点本身是可以存储数据的。之后使用的时候需要知道zk监听的是哪个端口。zk的目录结构和linux文件系统的目录结构类似。1、使用zk的客户端工具连接zk,进入zk命令行。三个节点（Hadoop01，02，03）。kafka是依赖zk的，所以需要安装zk。.
Kafka 安装教程和基本操作
最新发布
一念之间 一心向阳
05-23 1532
Kafka安装教程和基本操作
Kafka3.3.1最新版安装教程（无需zookeeper）
神明的博客
12-04 5189
kafka最新版3.3.1安装教程
Linux安装Kafka（单机）不使用自带的Zookeeper
《@书山有径%》的博客
12-08 2325
Linux安装Kafka（单机）不使用自带的Zookeeper Zookeeper（单机）安装 下载 wget -P /opt/ https://mirrors.huaweicloud.com/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 解压 tar -zxvf zookeeper-3.4.10.tar.gz 重命名 mv zookeeper-3.4.10 zookeeper 修改zoo.cfg 复制文件 cp /opt/zook
kafka安装部署
热门推荐
m0_46192647的博客
03-11 4万+
一、安装kafka 下载kafka两种方式 （1）、手动下载 下载地址：Apache Kafka （2）、也可以用命令下载（直接下载到服务器哦！）： 将安装包下载到/opt/monitor/kafka文件夹下面 下载命令： wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz 手动下载移动到/opt/monitor/kafka目录下也可以 二、解压kafka tar -xzvf kafk
kafka 单机集群搭建和监控
11-23
在本文中，我们将深入探讨如何搭建Kafka单机环境与集群，以及如何进行有效的监控。Kafka是由Apache开发的一个分布式流处理平台，广泛应用于实时数据处理、消息传递和日志聚合等场景。以下是对每个主题的详细说明： ...
kafka环境搭建（单机+集群） 详细
12-02
- 在多台服务器上重复上述单机安装步骤。 - 配置Kafka的`server.properties`文件，主要修改`broker.id`（每台服务器的唯一ID）、`zookeeper.connect`（Zookeeper的连接字符串）等参数，确保所有服务器都能互相通信...
windows下kafka_2.12-2.9.0.rar（含单机伪分布式配置）
04-12
在分布式环境中，通常需要多台服务器来运行Kafka集群，但为了测试或学习目的，可以使用单机上的伪分布式设置，这使得开发者能够在本地环境中快速搭建Kafka实例，而无需复杂的网络配置。 标签中的“kafka”、...
单机配置（zk、kafka、redis）
05-14
在单机测试环境中部署Zookeeper、Kafka和Redis是进行分布式系统开发和测试的基础工作。这里我们将详细介绍这三个组件的安装配置步骤。 首先，我们来看Zookeeper。Zookeeper是一个分布式的，开放源码的分布式应用...
【框架学习（4）-- Kafka3.2.1命令及不使用Zookeeper启动】
eee3331的博客
11-25 2660
框架学习四：如何不使用zookeeper启动kafka
Kafka安装及快速入门教程_Kafka3.5.1_云峦操作系统[KOS]
KeyarchOS的博客
10-30 1704
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。
Kafka-安装教程（详细步骤）
weixin_42151880的博客
08-18 4037
Kafka安装（详细步骤） 注意，须有前置环境：zookeeper 1.资源获取 链接: https://pan.baidu.com/s/1K0-Vy92yMctwFxw_jLoP2A 提取码: q741 2.解压并移动安装包 tar -zxf /opt/kafka_2.11-2.0.0.tgz //建议将所有软件移动至统一目录下 mv kafka_2.11-2.0.0 /opt/soft/kafka211 3.修改包下相关配置文件 #进入config目录，并修改server文件 cd /opt/soft
HTML爱的表白：教你用代码送上浪漫玫瑰花
Java程序员廖志伟
11-26 2万+
我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文创造者、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五公里、徒步爬过衡山、🔥有过三个月减肥20斤的经历、是个喜欢躺平的狠人。
kafka安装及入门
q704013673的博客
09-30 8710
kafka入门教程
kafka的安装
UrGeminiH的博客
04-06 1万+
一、下载安装包并解压 1.下载kafka 下载地址： Apache KafkaApache Kafka: A Distributed Streaming Platform.https://kafka.apache.org/downloads （根据自己的需求下载相应版本的kafka） 2.将kafka导入到自己的服务器中 ...
kafka安装完整步骤windows
06-28
### 回答1： 1. 下载并安装Java环境（Kafka需要Java运行） 2. 下载Kafka安装包（https://kafka.apache.org/downloads） 3. 解压安装包到指定目录 4. 进入安装目录，打开命令行窗口 5. 输入命令：.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties 启动zookeeper服务 6. 开启另一个命令行窗口，输入命令：.\bin\windows\kafka-server-start.bat .\config\server.properties 启动kafka服务 7. 在命令行窗口中输入命令：.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 创建一个名为“test”的topic 8. 开启另一个命令行窗口，输入命令：.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test 启动生产者 9. 开启另一个命令行窗口，输入命令：.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning 启动消费者 10. 在生产者窗口中输入消息，在消费者窗口中可以看到接收到的消息。 注意: 以上步骤假设你已经安装了java环境，并且系统已经配置好了JAVA_HOME环境变量. ### 回答2： Kafka是一个高性能、分布式、可伸缩的消息队列系统，适用于大数据流实时处理场景，被广泛应用于互联网、金融、电信等行业。本文将介绍Kafka在Windows系统下的安装步骤。 1. 安装Java环境 首先需要在Windows系统中安装Java环境，建议安装Java8或以上版本，可以通过命令行输入java -version来检查Java环境是否安装成功。 2. 下载Kafka安装包 在官网(https://kafka.apache.org/downloads)下载Kafka的二进制压缩包，解压到磁盘任意目录下。 3. 修改配置文件 进入Kafka解压目录，进入config文件夹，修改server.properties配置文件。主要修改如下： # 设置Kafka服务端口 listeners=PLAINTEXT://localhost:9092 # 设置Kafka日志存储位置 log.dirs=D:/kafka_2.12-2.7.0/data/kafka/logs # 设置Zookeeper连接地址 zookeeper.connect=localhost:2181 4. 启动Zookeeper 进入Kafka解压目录，进入bin\windows文件夹，双击运行zookeeper-server-start.bat脚本。 5. 启动Kafka 同样进入bin\windows文件夹，双击运行kafka-server-start.bat脚本，即可启动Kafka服务。此时如果出现报错，可以查看logs文件夹下的kafka-logs、zookeeper的日志信息。 6. 测试Kafka 打开命令行，进入Kafka的bin\windows目录，运行以下命令： # 创建名为test的topic kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test # 发布消息 kafka-console-producer.bat --broker-list localhost:9092 --topic test # 消费消息 kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning 若发布和消费消息成功，则说明Kafka在Windows系统上安装成功。 注意：由于Kafka需要在后台运行并且占用一定的内存资源，在生产环境中需要开启Kafka的守护进程，以保证Kafka的稳定运行。 ### 回答3： kafka是一个高性能、分布式的消息队列系统，可以用于处理海量的数据。在Windows操作系统上安装kafka并不复杂，下面将介绍详细的安装步骤。 1.下载kafka 首先需要下载kafka的压缩包，可以从官网上下载对应版本的kafka。下载完成后，解压到一个有意义的目录下。 2.配置环境变量 在解压kafka的目录下，找到“bin”文件夹，将其路径添加到系统环境变量中。方法是右键点击“计算机”，选择“属性”、“高级系统设置”、“环境变量”，在系统变量中找到“Path”变量，点击编辑，添加“bin”文件夹路径。 3.修改kafka配置 在kafka的解压目录下，找到“config”文件夹，打开“server.properties”文件，修改以下配置： - broker.id=0 # broker的唯一标识符，在集群部署时需要设置不同的值 - listeners=PLAINTEXT://localhost:9092 # kafka监听的主机名和端口 - log.dirs=D:/kafka/kafka-logs # kafka数据存储目录，也可以使用默认路径 - zookeeper.connect=localhost:2181 # zookeeper的连接地址，一般默认端口为2181 4.启动zookeeper 在kafka解压目录下找到“bin”文件夹，运行“zookeeper-server-start.bat”文件启动zookeeper服务。 5.启动kafka 同样在“bin”文件夹下，运行“kafka-server-start.bat”文件启动kafka服务。如果一切正常，可以在控制台看到kafka的启动信息。 6.创建主题 在kafka解压目录下找到“bin”文件夹，在命令行中运行“kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test”命令来创建一个名为“test”的主题。 7.发送和接收消息 运行“kafka-console-producer.bat --broker-list localhost:9092 --topic test”命令发送消息，运行“kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning”命令接收消息。 到此为止，kafka已经成功安装并运行在Windows操作系统上。在实际的生产环境中，需要按照需求进行配置和调整，以达到更好的性能和效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蛋蛋淡淡定

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值