Ubuntu部署kafka

最新推荐文章于 2023-11-28 18:17:59 发布
最新推荐文章于 2023-11-28 18:17:59 发布
阅读量620 收藏 2
点赞数 2
分类专栏： # 消息队列 # Ubuntu 文章标签： Ubuntu kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xin_101/article/details/97787289
版权

1 下载

传送门：http://kafka.apache.org/downloads
下载binary版，不用编译。

2 配置

2.1 新建kafka文件夹

mkdir kafka

路径：/home/xdq/xinPrj/kafka

2.2 解压文件

tar -zxvf kafka_2.12-2.2.1.tgz -C .
  • 文件目录
|--kafka
├── kafka_2.12-2.2.1
│   ├── bin
│   ├── config
│   ├── libs
│   ├── LICENSE
│   ├── NOTICE
│   └── site-docs

2.3 修改配置文件

在文件夹config中的配置文件

序号文件描述
1server.propertieskafka配置文件,用于向zookeeper注册broker
2zookeeper.propertieszookeeper配置文件,用于承载kafka及producer,consumer的注册
3producer.properties生产者配置,连接zookeeper和kafka及向zookeeper注册
4consumer.properties消费者配置,连接zookeeper和kafka及向zookeeper注册
cd kafka/kafka_2.12-2.2.1/config

3 单机部署

3.1 server.properties

# broker(物理机) id编号,每台物理机指定唯一id,不可重复
broker.id=1
# 监听端口
port=9092
# 监听内网(局域网),PLAINTEXT传输协议(无需认证)
listeners=PLAINTEXT://:9092
# 网络线程
num.network.threads=3
# 处理请求IO线程
num.io.threads=8
# 套接字发送缓存
socket.send.buffer.bytes=102400
# 套接字接收缓存
socket.receive.buffer.bytes=102400
# 套接字最大请求字节
socket.request.max.bytes=104857600
# kafka日志路径
log.dirs=/home/xdq/xinPrj/kafka/kafka_2.12-2.2.1/kafka-logs
# boker的分区数
num.partitions=1
# RAID磁盘阵列:恢复盘数
num.recovery.threads.per.data.dir=1
# 副本数量
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# 日志更新(缓存时间):单位:hour
log.retention.hours=168
# 分片字节量
log.segment.bytes=1073741824
# 检查日志时间
log.retention.check.interval.ms=300000
# 连接zookeeper,向zookeeper注册broker
zookeeper.connect=localhost:2181
# zookeeper连接周期
zookeeper.connection.timeout.ms=6000
# group均衡时间
group.initial.rebalance.delay.ms=0

3.2 zookeeper.properties

# zookeeper数据目录
dataDir=/home/xdq/xinPrj/zookeeper/datas
# zookeeper监听端口,用户端及broker,producer,consumer
clientPort=2181
# 主机host
host.name=localhost
# 客户端连接量
maxClientCnxns=0

3.3 producer.properties

# 连接broker服务IP:port
bootstrap.servers=localhost:9092
# 数据类型: none, gzip, snappy, lz4, zstd
compression.type=none
# 连接zookeeper
zookeeper.connect=localhost:2181

3.4 consumer.properties

# 连接broker服务IP:port
bootstrap.servers=localhost:9092
# 消费者用户组id
group.id=test-consumer-group
# 连接zookeeper
zookeeper.connect=localhost:2181

3.5 Usage

3.5.1 启动zookeeper

  • 从zookeeper启动并后台运行
bin/zkServer.sh start
  • 从kafka内启动前台运行
bin/zookeeper-server-start.sh config/zookeeper.properties

3.5.2 启动kafka

bin/kafka-server-start.sh config/server.properties
  • 查看此时的进程:jsp
jps
  • Result
24163 QuorumPeerMain
25235 Jps
24847 Kafka

3.5.3 创建topic

topic向zookeeper注册.

  • 创建
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1
  • Result
Created topic test1.

3.5.4 查看topic

  • 查看
bin/kafka-topics.sh --list --zookeeper localhost:2181
  • Result
test1

3.5.5 启动生产者producer

  • 启动
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1
  • Result
    启动了生产者服务.
>hello world!

3.5.6 启动消费者cousumer

  • 低版本启动
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test1 --from-begining
  • 高版本启动
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test1 --from-beginning
  • 开启了接收消息的服务
hello world!

3.5.7 查看此时进程

  • cmd
jps
  • Result
24163 QuorumPeerMain
27943 ConsoleConsumer
28346 Jps
26542 ConsoleProducer
24847 Kafka

3.5.8 查看broker

bin/zookeeper-shell.sh localhost:2181,localhost:2182,localhost:2183
ls /brokers/ids

[1, 2, 3]

4 伪分布式部署

4.1 配置config文件

  • server1.properties
# broker(物理机) id编号,每台物理机指定唯一id,不可重复
broker.id=1
# 监听端口
port=9092
# 监听内网(局域网),PLAINTEXT传输协议(无需认证)
listeners=PLAINTEXT://:9092
# 网络线程
num.network.threads=3
# 处理请求IO线程
num.io.threads=8
# 套接字发送缓存
socket.send.buffer.bytes=102400
# 套接字接收缓存
socket.receive.buffer.bytes=102400
# 套接字最大请求字节
socket.request.max.bytes=104857600
# kafka日志路径
log.dirs=/home/xdq/xinPrj/kafka/kafka_2.12-2.2.1/kafka-logs
# boker的分区数
num.partitions=1
# RAID磁盘阵列:恢复盘数
num.recovery.threads.per.data.dir=1
# 副本数量
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# 日志更新(缓存时间):单位:hour
log.retention.hours=168
# 分片字节量
log.segment.bytes=1073741824
# 检查日志时间
log.retention.check.interval.ms=300000
# 连接zookeeper,向zookeeper注册broker,kafka为主机内网host,218x为zookeeper端口
zookeeper.connect=kafak:2181,kafka:2182,kafka:2183
# zookeeper连接周期
zookeeper.connection.timeout.ms=6000
# group均衡时间
group.initial.rebalance.delay.ms=0
  • server2.properties
# broker(物理机) id编号,每台物理机指定唯一id,不可重复
broker.id=2
# 监听端口
port=9093
# 监听内网(局域网),PLAINTEXT传输协议(无需认证)
listeners=PLAINTEXT://:9093
# 网络线程
num.network.threads=3
# 处理请求IO线程
num.io.threads=8
# 套接字发送缓存
socket.send.buffer.bytes=102400
# 套接字接收缓存
socket.receive.buffer.bytes=102400
# 套接字最大请求字节
socket.request.max.bytes=104857600
# kafka日志路径
log.dirs=/home/xdq/xinPrj/kafka/kafka_2.12-2.2.1/kafka-logs
# boker的分区数
num.partitions=1
# RAID磁盘阵列:恢复盘数
num.recovery.threads.per.data.dir=1
# 副本数量
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# 日志更新(缓存时间):单位:hour
log.retention.hours=168
# 分片字节量
log.segment.bytes=1073741824
# 检查日志时间
log.retention.check.interval.ms=300000
# 连接zookeeper,向zookeeper注册broker,kafka为主机内网host,218x为zookeeper端口
zookeeper.connect=kafak:2181,kafka:2182,kafka:2183
# zookeeper连接周期
zookeeper.connection.timeout.ms=6000
# group均衡时间
group.initial.rebalance.delay.ms=0
  • server3.properties
# broker(物理机) id编号,每台物理机指定唯一id,不可重复
broker.id=3
# 监听端口
port=9094
# 监听内网(局域网),PLAINTEXT传输协议(无需认证)
listeners=PLAINTEXT://:9094
# 网络线程
num.network.threads=3
# 处理请求IO线程
num.io.threads=8
# 套接字发送缓存
socket.send.buffer.bytes=102400
# 套接字接收缓存
socket.receive.buffer.bytes=102400
# 套接字最大请求字节
socket.request.max.bytes=104857600
# kafka日志路径
log.dirs=/home/xdq/xinPrj/kafka/kafka_2.12-2.2.1/kafka-logs
# boker的分区数
num.partitions=1
# RAID磁盘阵列:恢复盘数
num.recovery.threads.per.data.dir=1
# 副本数量
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# 日志更新(缓存时间):单位:hour
log.retention.hours=168
# 分片字节量
log.segment.bytes=1073741824
# 检查日志时间
log.retention.check.interval.ms=300000
# 连接zookeeper,向zookeeper注册broker,kafka为主机内网host,218x为zookeeper端口
zookeeper.connect=kafak:2181,kafka:2182,kafka:2183
# zookeeper连接周期
zookeeper.connection.timeout.ms=6000
# group均衡时间
group.initial.rebalance.delay.ms=0

4.2 zookeeper使用独立的部署

参考博客:Ubuntu部署zookeeper的伪分布式zookeeper部署.

4.3 外网kafka通信

注释listeners=PLAINTEXT，修改如下：

advertised.listeners=PLAINTEXT://外网IP:9092

5 真集群部署

5.1 服务器集群

3台服务器为例，其中IP为任意选取的同外网段IP，配置时，在相应文件配置相应IP即可。

  • IP地址及端口
序号外网IP内网IP内网映射端口1端口2端口3端口4
110.10.10.10192.168.0.1kafka12181288838889092
210.10.12.12192.168.0.2kafka22181288838889092
310.10.14.14192.168.0.3kafka32181288838889092
  • 仅内网从kafka交换数据
配置文件IP选择端口
zookeeper内网IP2181
kafka:zookeeper.connect内网IP9092
kafka:advertised.listerns内网IP9092
  • 内网及外网交换数据
配置文件IP选择端口
zookeeper内网IP2181
kafka:zookeeper.connect内网IP9092
kafka:advertised.listerns外网IP9092

5.2 配置config文件

5.2.1 第一台服务器

  • server.properties
# broker(物理机) id编号,每台物理机指定唯一id,不可重复
broker.id=1
# 监听端口
port=9092
# 监听外网(局域网),PLAINTEXT传输协议(无需认证)
advertised.listeners=PLAINTEXT://10.10.10.10:9092
# 网络线程
num.network.threads=3
# 处理请求IO线程
num.io.threads=8
# 套接字发送缓存
socket.send.buffer.bytes=102400
# 套接字接收缓存
socket.receive.buffer.bytes=102400
# 套接字最大请求字节
socket.request.max.bytes=104857600
# kafka日志路径
log.dirs=/home/xdq/xinPrj/kafka/kafka_2.12-2.2.1/kafka-logs
# boker的分区数
num.partitions=1
# RAID磁盘阵列:恢复盘数
num.recovery.threads.per.data.dir=1
# 副本数量
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# 日志更新(缓存时间):单位:hour
log.retention.hours=168
# 分片字节量
log.segment.bytes=1073741824
# 检查日志时间
log.retention.check.interval.ms=300000
# 连接zookeeper,向zookeeper注册broker,kafka为主机内网host,2181为zookeeper端口
zookeeper.connect=kafak1:2181,kafka2:2181,kafka3:2181
# zookeeper连接周期
zookeeper.connection.timeout.ms=6000
# group均衡时间
group.initial.rebalance.delay.ms=0

5.2.2 第二台服务器

  • server.properties
# broker(物理机) id编号,每台物理机指定唯一id,不可重复
broker.id=2
# 监听端口
port=9092
# 监听外网(局域网),PLAINTEXT传输协议(无需认证)
advertised.listeners=PLAINTEXT://10.10.12.12:9092
# 网络线程
num.network.threads=3
# 处理请求IO线程
num.io.threads=8
# 套接字发送缓存
socket.send.buffer.bytes=102400
# 套接字接收缓存
socket.receive.buffer.bytes=102400
# 套接字最大请求字节
socket.request.max.bytes=104857600
# kafka日志路径
log.dirs=/home/xdq/xinPrj/kafka/kafka_2.12-2.2.1/kafka-logs
# boker的分区数
num.partitions=1
# RAID磁盘阵列:恢复盘数
num.recovery.threads.per.data.dir=1
# 副本数量
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# 日志更新(缓存时间):单位:hour
log.retention.hours=168
# 分片字节量
log.segment.bytes=1073741824
# 检查日志时间
log.retention.check.interval.ms=300000
# 连接zookeeper,向zookeeper注册broker,kafka为主机内网host,2181为zookeeper端口
zookeeper.connect=kafak1:2181,kafka2:2181,kafka3:2181
# zookeeper连接周期
zookeeper.connection.timeout.ms=6000
# group均衡时间
group.initial.rebalance.delay.ms=0

5.2.3 第三台服务器

  • server.properties
# broker(物理机) id编号,每台物理机指定唯一id,不可重复
broker.id=3
# 监听端口
port=9092
# 监听外网(局域网),PLAINTEXT传输协议(无需认证)
advertised.listeners=PLAINTEXT://10.10.14.14:9092
# 网络线程
num.network.threads=3
# 处理请求IO线程
num.io.threads=8
# 套接字发送缓存
socket.send.buffer.bytes=102400
# 套接字接收缓存
socket.receive.buffer.bytes=102400
# 套接字最大请求字节
socket.request.max.bytes=104857600
# kafka日志路径
log.dirs=/home/xdq/xinPrj/kafka/kafka_2.12-2.2.1/kafka-logs
# boker的分区数
num.partitions=1
# RAID磁盘阵列:恢复盘数
num.recovery.threads.per.data.dir=1
# 副本数量
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# 日志更新(缓存时间):单位:hour
log.retention.hours=168
# 分片字节量
log.segment.bytes=1073741824
# 检查日志时间
log.retention.check.interval.ms=300000
# 连接zookeeper,向zookeeper注册broker,kafka为主机内网host,2181为zookeeper端口
zookeeper.connect=kafak1:2181,kafka2:2181,kafka3:2181
# zookeeper连接周期
zookeeper.connection.timeout.ms=6000
# group均衡时间
group.initial.rebalance.delay.ms=0

5.3 zookeeper使用独立的部署

参考博客:Ubuntu部署zookeeper的真分布式（集群）zookeeper部署.

5.4 Usage

  • 启动kafka
bin/kafka-server-start.sh --broker-list 10.10.10.10:9092,10.10.12.12:9092,10.10.14.14:9092 config/server.properties
  • 新建topic
bin/kafka-topics.sh --create --zookeeper 10.10.10.10:2181,10.10.12.12:2181 --replication-factor 1 --partition 1 --topic topic-test
  • 查看topic
bin/kafka-topics.sh --list --zookeeper 10.10.10.10:2181,10.10.12.12:2181,10.10.14.14:2181
  • 启动生产者
bin/kafka-console-producer.sh --broker-list 10.10.10.10:9092,10.10.12.12:9092,10.10.14.14:9092 --topic topic-test
  • 启动消费者
bin/kafka-console-consumer.sh --bootstrap-server 10.10.10.10:9092,10.10.12.12:9092,10.10.14.14:9092 --topic topic-test --from-beginning

5.5 外网kafka通信

注释listeners=PLAINTEXT，修改如下：

advertised.listeners=PLAINTEXT://外网IP:9092

6 小结

(1) kafka启动流程：zookeeper ↦ \mapsto ↦kafka-server ↦ \mapsto ↦create-topic ↦ \mapsto ↦producer ↦ \mapsto ↦consumer
(2) zookeeper启动，使用内网IP和2181端口；
(3) kafka启动分情况：

序号使用情况启动IP
1仅内网使用内网IP启动
2内网+外网外网IP启动

(4)监听服务说明

序号使用情况监听服务
1仅内网使用listeners
2内网+外网advetised.listeners

advertised.listeners是用于监听外网IP的服务，即若需要远程连接Kafka，需要将该参数配置为外网IP。
(5) 监听权限：

序号权限描述
1PLAINTEXT明文，无认证
2SASL/GSSAPIKerberos认证，0.9.0.0版本开始
3SASL/PLAIN0.10.0.0开始使用
4SASL/SCRAM-SHA-256和SASL/SCRAM-SHA-5120.10.2.0开始使用
5SASL/OAUTHBEARER2.0版本开始使用

【参考文献】
[1]http://kafka.apache.org/downloads
[2]https://blog.csdn.net/sinat_30026065/article/details/82148587
[3]https://blog.csdn.net/hg_harvey/article/details/79174104
[4]https://blog.csdn.net/csdn_sunlighting/article/details/81516646

天然玩家
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Ubuntu18.04搭建kafka集群（入门指南）
git1314的博客
04-07 2763
一。先安装jdk 这里我选择的是jdk1.8,其它版本也可以。 配置环境变量这里就不再赘述了 可以参考一下我的这一篇文章： https://blog.csdn.net/github_39533414/article/details/85218091 https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e...
Kafka最新Ubuntu安装包
最新发布
12-27
kafka_2.13-3.5.0.tgz 是Apache Kafka的一个特定版本，针对Scala 2.13构建。Apache Kafka是一个开源的流...部署后，您可以设置Kafka集群，生产和消费消息，以及使用Kafka的其他高级功能，如流处理、连接外部系统等。
【Linux】ubuntu下kafka集群环境搭建
catshitone的专栏
01-05 4727
１.下载kafka正式版，本文使用kafka_2.10-0.8.2.2（在此特别说明下，kafka_2.9.2-0.8.1.1.tgz由于版本相对较低的问题，好多.sh文件时缺少的，比如kafka-topics.sh，所以建议大家在安装的时候不要使用太老的版本，问题较多，并且启动kafka-server-start的时候还报错，始终无法启动成功～） 官网下载链接如下：http://kafka.a
阿晨的运维笔记 | Ubuntu部署Kafka集群
IT学习社
07-25 434
开始部署之前，建议先按照Ubuntu切换到国内镜像源操作一下，能省下大把宝贵时间！ Kafka的分布式调度是依赖Zookeeper来完成的，所以还没有部署Zookeeper的小伙伴，可以参考我的另一篇博客阿晨的运维笔记 | Ubuntu部署Zookeeper集群，先部署上Zookeeper集群哦！ 文章目录示例机器安装Kafka修改配置文件注册为Systemd服务测试Kafka部署CMAKCluster ManagementTopic ListTopic ViewConsumer List ViewCons
Ubuntu 部署 kafka2.12_3.0.0
huangzfone的博客
01-07 1440
Ubuntu 部署 kafka2.12_3.0.0使用
Ubuntu部署kafka-manager
天然玩家的博客
08-03 433
1 下载 传送门：https://github.com/yahoo/kafka-manager 2 配置 进入配置文件 cd kafka-manager/conf 修改文件application.conf # 单机版 kafka-manager.zkhosts="kafka-manager-zookeeper:2181" # 集群版 kafka-manager.zkhosts="192...
Kafka安装部署.docx
08-04
本教程将详细阐述如何在Linux环境下，基于Scala和ZooKeeper安装部署Kafka。 首先，Kafka的安装需要依赖Scala和ZooKeeper。Scala是Kafka的开发语言，而ZooKeeper则是Kafka的协调服务，负责集群的管理和数据的存储。...
Ubuntu16.4部署fabric1.4+kafka集群最新最完整
01-08
环境角色规划如下，7台服务器hosts文件统一配置： vim /etc/hosts 10.12.237.103 orderer0.example.com 10.12.236.210 orderer1.example.com 10.12.237.112 orderer2.example.com ...10.12.237.132 
Ubuntu18.04 docker kafka 本地测试环境搭建
mayue_web的博客
07-12 856
Kafka是一种分布式流处理平台，也是一个高吞吐量的分布式发布订阅消息系统。它由LinkedIn开发，并于2011年成为Apache软件基金会的顶级项目。Kafka的设计目标是能够处理大规模的消息流，并提供持久性、高吞吐量和低延迟的特性。它的核心概念是发布-订阅模型，其中消息被组织成一个或多个主题（Topics），生产者（Producers）将消息发布到主题中，而消费者（Consumers）从主题中订阅并处理消息。
ubuntu Kafka单机部署教程
赶考书生
08-24 284
安装教程 下载安装包 http://kafka.apache.org/downloads 解压tgz文件 tar -zxf kafka_2.11-2.4.0.tgz 进入config更改配置信息 cd kafka_2.11-2.4.0/config 先改zookeeper.properties 信息 vi zookeeper.properties 新建dataDir目录（命令mkdir dirname）并更改dataDir信息，就是配置zookeeper时的存放日志信息目录，单
Ubuntu 环境安装 Kafka、配置运行测试 Kafka 流程笔记
天河书阁 - VicRestart
11-28 2691
Kafka 是一个由 Apache 软件基金会开发的开源流式处理平台。它被设计用于处理大规模数据流，提供高可靠性、高吞吐量和低延迟的消息传递系统。Kafka 可以用于构建实时数据管道和流式应用程序，让不同应用、系统或者数据源之间能够高效地进行数据交换和通信。消息: Kafka 是基于发布/订阅模式的消息系统，它通过主题（Topics）来组织消息。消息由生产者发布到主题，消费者可以订阅一个或多个主题以接收消息。主题: 主题是消息的分类，每个主题可以包含一个或多个分区（Partitions）。
Ubuntu18.04 部署Kafka
weixin_40782143的博客
02-24 680
Ubuntu18.04 Kafka配置1. Kafka 安装1.1 安装Kafka1.2 配置Kafka1.2.1 配置 server.properties1.2.2 编写批量启动程序(kafka-Cluster.sh)1.3 启动Kafka 1. Kafka 安装 下载地址：http://kafka.apache.org/downloads 1.1 安装Kafka 解压 kafka_2.11-...
Ubuntu 安装启动 Kafka
TechnicianWang的博客
09-06 2307
先关闭生产者和消费者客户端，再关闭kafka broker，最后关闭zookeeper。3.2 配置/config/zookeeper.properties。3.1 配置/config/server.properties。(1).存活时间(默认168)(2).配置IP与端口号。10.2 关闭zookeeper。10.1 关闭kafka。
ubuntu上kafka的配置与使用
weixin_34409741的博客
12-11 357
0.安装java环境 可以参考另一篇文章：https://www.cnblogs.com/codedoge/p/10101580.html 1.下载kafka（我下载的是2.11-2.1.0版本） wget https://mirrors.cnnic.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz 2.解压 tar -xzvf kafka...
ubuntu 安装kafka 以及使用
lchmyhua88的博客
03-06 4062
一、简介 1.1　概述 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是：日志收集系统和消息系统。 Kafka主要设计目标如下： 以...
ubuntu18.04下Kafka安装与部署
ystraw - Come on！！！
08-13 803
Kafka是一个消息系统，专为分布式高吞吐量系统而设计，其他消息传递系统相比，Kafka具有更好的吞吐量，内置分区，复制和固有的容错能力，这使得它非常适合大规模消息处理应用程序[1]。 Apache Kafka是分布式发布-订阅消息系统，Apache Kafka与传统消息系统相比，有以下不同[2]： 它被设计为一个分布式系统，易于向外扩展； 它同时为发布和订阅提供高吞吐量； 它支持多订阅者，当失败时能自动平衡消费者； 它将消息持久化到磁盘，因此可用于批量消费； 下面介绍从安装过程，如果机器上已经安装过下
kafka安装和启动
爱吃鱼油
03-09 1431
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统
Ubuntu安装kafka
07-28
在Ubuntu上安装Kafka的步骤如下： 1. 首先，您需要安装Java。您可以使用以下命令检查Java是否已安装成功：`java -version`。如果Java未安装，请使用适当的命令进行安装。 2. 安装Zookeeper。您可以使用以下命令安装Zookeeper：`apt-get install zookeeper`。 3. 创建一个目录来安装Kafka，并进入该目录：`mkdir kafka && cd kafka`。 4. 下载Kafka的二进制文件。您可以使用以下命令从清华大学镜像站下载Kafka 2.2.1的二进制文件：`wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.1/kafka_2.11-2.2.1.tgz`。 5. 解压缩下载的文件：`tar -xzf kafka_2.11-2.2.1.tgz --strip 1`。 6. 配置Kafka。您可以根据您的需求编辑Kafka的配置文件。 7. 使用以下命令启动Kafka服务：`bin/kafka-server-start.sh config/server.properties`。如果您想在后台运行Kafka服务，可以使用以下命令：`bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &`。 这样，您就成功在Ubuntu上安装了Kafka。您可以使用其他命令来创建主题、查看主题列表、生成消息和消费消息。请根据您的需求进行相应的操作。 #### 引用[.reference_title] - *1* *2* *3* [ubuntu安装kafka](https://blog.csdn.net/qq233325332/article/details/121552098)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天然玩家

坚持才能做到极致

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值