Kafka安装及运行(Windows及linux)

3 篇文章 0 订阅
3 篇文章 1 订阅

一、安装JAVA JDK

1、下载安装包
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
注意:根据32/64位操作系统下载对应的安装包
2、添加系统变量:JAVA_HOME=C:\Program Files (x86)\Java\jdk1.8.0_144

二、安装ZooKeeper

1、 下载安装包

http://zookeeper.apache.org/releases.html#download

2、 解压并进入ZooKeeper目录,笔者:D:\Kafka\zookeeper-3.4.9\conf

3、 将“zoo_sample.cfg”重命名为“zoo.cfg”

4、 打开“zoo.cfg”找到并编辑dataDir=D:\Kafka\zookeeper-3.4.9\tmp

5、 添加系统变量:ZOOKEEPER_HOME=D:\Kafka\zookeeper-3.4.9

6、 编辑path系统变量,添加路径:%ZOOKEEPER_HOME%\bin

7、 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181)

8、 打开新的cmd,输入zkServer,运行Zookeeper

9、 命令行提示如下:说明本地Zookeeper启动成功

image

注意:不要关了这个窗口

三、安装Kafka

1、 下载安装包

http://kafka.apache.org/downloads

注意要下载二进制版本

clip_image003

2、 解压并进入Kafka目录,笔者:D:\Kafka\kafka_2.12-0.11.0.0

3、 进入config目录找到文件server.properties并打开

4、 找到并编辑log.dirs=D:\Kafka\kafka_2.12-0.11.0.0\kafka-logs

5、 找到并编辑zookeeper.connect=localhost:2181

6、 Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181

7、 进入Kafka安装目录,打开命令窗口,输入:

.\bin\windows\kafka-server-start.bat .\config\server.properties

image

注意:不要关了这个窗口,启用Kafka前请确保ZooKeeper实例已经准备好并开始运行

四、测试

1、 创建主题,进入Kafka安装目录,打开命令窗口,输入:

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

clip_image005

注意:不要关了这个窗口

查看主题输入:

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

clip_image007

2、 创建生产者,进入Kafka安装目录D:\Kafka\kafka_2.12-0.11.0.0,按下Shift+右键,选择“打开命令窗口”选项,打开命令行,输入:

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

image

注意:不要关了这个窗口

3、 创建消费者,进入Kafka安装目录D:\Kafka\kafka_2.12-0.11.0.0,按下Shift+右键,选择“打开命令窗口”选项,打开命令行,输入:

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

image

在Windows安装运行Kafka

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ZooKeeper 和 Kafka 是两个常用的大数据组件,它们在分布式系统中扮演着关键角色。 **Zookeeper 安装**: ZooKeeper 是一个分布式协调服务,主要用于维护配置信息、命名空间和提供同步服务。以下是基本的安装步骤: 1. **下载**: 访问 Apache ZooKeeper 的官方网站(https://zookeeper.apache.org/releases.html)下载适合你操作系统的二进制包。 2. **解压**: 解压缩下载的文件,并得到 `bin` 目录中的可执行文件。 3. **配置**: 配置 `conf/zoo.cfg` 文件,设置数据目录(dataDir)和其他配置项。 4. **启动**: 在 `bin` 目录下执行 `zkServer.sh start`(Linux/Mac)或 `zkServer.cmd start`(Windows)开始服务。 5. **验证**: 使用 `zkCli.sh` 或 `bin/zkServer.sh status` 来检查服务是否运行正常。 **Kafka 安装**: Kafka 是一个分布式流处理平台,用于高吞吐量的实时数据管道。以下是安装 Kafka 的一般步骤: 1. **下载**: 从 Apache Kafka 官网下载最新的二进制包。 2. **配置**: 设置环境变量,编辑 `config/server.properties` 文件,定义 brokers、主题、分区等。 3. **创建实例**: 创建一个或多个 Kafka 服务器,可以通过 `bin/kafka-server-start.sh` 命令启动。 4. **生产者与消费者**: 使用 `bin/kafka-console-producer.sh` 和 `bin/kafka-console-consumer.sh` 进行简单的生产消费测试。 5. **集群部署**: 如果需要分布式部署,配置多台机器并使用 `kafka-topics.sh` 命令创建和管理主题。 **相关问题--:** 1. ZooKeeper 和 Kafka 在大数据场景中分别负责什么? 2. 如何在生产环境中安全地部署和管理多节点的 Kafka 集群? 3. 在使用 Kafka 时,如何保证消息的可靠性和顺序性?

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值