CentOS7 安装kafka教程

介绍

Kafka是分布式发布-订阅消息系统,最初由LinkedIn公司开发,之后成为之后成为Apache基金会的一部分,由Scala和Java编写。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。
它与传统系统相比,有以下不同:
它被设计为一个分布式系统,易于向外扩展;
它同时为发布和订阅提供高吞吐量;
它支持多订阅者,当失败时能自动平衡消费者;
它将消息持久化到磁盘,因此可用于批量消费,例如ETL,以及实时应用程序。

基础概念

Broker:Kafka集群包含一个或多个服务器,这些服务器就是Broker
Topic:每条发布到Kafka集群的消息都必须有一个Topic
Partition:是物理概念上的分区,为了提供系统吞吐率,在物理上每个Topic会分成一个或多个Partition,每个Partition对应一个文件夹
Producer:消息产生者,负责生产消息并发送到Kafka Broker
Consumer:消息消费者,向kafka broker读取消息并处理的客户端。
Consumer Group:每个Consumer属于一个特定的组,组可以用来实现一条消息被组内多个成员消费等功能。

安装kafaka

官网下载Kafka安装包。

下载路径:http://kafka.apache.org/downloads
安装参考:https://segmentfault.com/a/1190000012990954

解压安装(我的安装目录/opt/kafka/)

tar -zvxf kafka_2.11-2.1.0.tag

修改配置文件

vim /opt/kafka/kafka_2.11-2.1.0/config/server.properties

修改其中

listeners = PLAINTEXT://ip:9092
注意:ip指的是本机ip

验证

使用安装包中的脚本启动单节点Zookeeper实例

cd /opt/kafka/kafka_2.11-2.1.0
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

使用kafka-server-start.sh启动kafka服务:

bin/kafka-server-start.sh config/server.properties

使用kafka-topics.sh 创建但分区单副本的topic test

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

使用kafka-console-producer.sh 发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

使用kafka-console-consumer.sh 接收消息并在终端打印

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

删除topic

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

查看描述topic

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

第一行给出了所有分区的摘要,每个附加行给出了关于一个分区的信息。 由于我们只有一个分区,所以只有一行。
“Leader”: 是负责给定分区的所有读取和写入的节点。 每个节点将成为分区随机选择部分的领导者。
“Replicas”: 是复制此分区日志的节点列表,无论它们是否是领导者,或者即使他们当前处于活动状态。
“Isr”: 是一组“同步”副本。这是复制品列表的子集,当前活着并被引导到领导者。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 以下是CentOS 7安装Kafka的详细教程: 1. 安装Java Kafka需要Java环境支持,因此需要先安装Java。可以通过以下命令安装Java: ``` sudo yum install java-1.8.-openjdk ``` 2. 下载Kafka 可以从Kafka官网下载最新版本的Kafka,也可以使用以下命令下载: ``` wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8./kafka_2.13-2.8..tgz ``` 3. 解压Kafka 使用以下命令解压Kafka: ``` tar -xzf kafka_2.13-2.8..tgz ``` 4. 配置Kafka 进入Kafka目录,编辑config/server.properties文件,修改以下配置: ``` listeners=PLAINTEXT://localhost:9092 advertised.listeners=PLAINTEXT://your.server.ip.address:9092 ``` 其中,your.server.ip.address为你的服务器IP地址。 5. 启动Kafka 使用以下命令启动Kafka: ``` bin/kafka-server-start.sh config/server.properties ``` 6. 创建Topic 使用以下命令创建一个名为test的Topic: ``` bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test ``` 7. 发送消息 使用以下命令向test Topic发送消息: ``` bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test ``` 8. 接收消息 使用以下命令从test Topic接收消息: ``` bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning ``` 以上就是CentOS 7安装Kafka的详细教程。 ### 回答2: CentOS 7 是广泛使用的 Linux 发行版之一,Kafka 是一种广泛使用的分布式消息系统。在本文中,我们将提供安装 Kafka 的详细步骤。 1. 在 CentOS 7 上安装 Java 在 CentOS 7 上安装 Kafka 之前,您需要先安装 Java。您可以使用以下命令检查您的系统上是否已安装 Java: java -version 如果您没有安装 Java,则可以使用以下命令在 CentOS 7 上安装 OpenJDK: sudo yum install java-1.8.0-openjdk-devel -y 2. 下载和解压 KafkaCentOS 7 上安装 Kafka 前,您需要从 Apache Kafka 的官方网站上下载最新版本的二进制文件。 您可以使用以下命令下载 Kafka 最新版本: wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz 解压 Kafka 压缩包: tar -xvf kafka_2.13-2.8.0.tgz 3. 配置 Kafka 在您开始使用 Kafka 之前,您需要配置 Kafka。您可以通过更改 Kafka 配置文件来完成此操作。 转到 Kafka 解压后的目录: cd kafka_2.13-2.8.0/ 复制并重命名 server.properties 文件: cp config/server.properties config/server-1.properties 使用 vim 命令修改 server-1.properties 文件,例如: vim config/server-1.properties 设置以下参数: broker.id=1 listeners=PLAINTEXT://:9093 log.dirs=/tmp/kafka-logs-1 重要的是要更改 broker.id 值。每个 Kafka broker 在 Kafka 群集中必须具有唯一的 id。您可以更改此值,例如,对于第二个 Kafka broker,您可以将值更改为 broker.id=2。 4. 启动 Kafka 一旦您已经配置好 Kafka,您可以使用以下命令启动 Kafka Broker: ./bin/kafka-server-start.sh config/server-1.properties 当您成功启动 Kafka Broker 时,您将看到以下消息: [2021-08-25 08:40:07,430] INFO Kafka version: 2.8.0 (org.apache.kafka.common.utils.AppInfoParser) [2021-08-25 08:40:07,430] INFO Kafka commitId: 3505b1e1d929c6e1 (org.apache.kafka.common.utils.AppInfoParser) [2021-08-25 08:40:07,431] INFO [KafkaServer id=1] Processing config file /home/user/workspace/kafka_2.13-2.8.0/config/server-1.properties (kafka.server.KafkaServer) [2021-08-25 08:40:07,447] INFO [KafkaServer id=1] starting (kafka.server.KafkaServer) [2021-08-25 08:40:07,452] INFO [KafkaServer id=1] SIGTERM handler shutting down the Kafka server (kafka.server.KafkaServer) [2021-08-25 08:40:07,454] INFO [Shutdown broker=1] Shutting down socket server request processors (kafka.network.Acceptor) [2021-08-25 08:40:07,456] INFO [Shutdown broker=1] Shutting down ReplicaFetcherManager (kafka.server.ReplicaFetcherManager) 5. 测试 Kafka 一旦您已经启动 Kafka Broker,您可以使用以下命令测试 Kafka: a. 创建一个 Kafka Topic: ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic first-topic b. 发布消息到 Kafka: ./bin/kafka-console-producer.sh --broker-list localhost:9093 --topic first-topic 在新窗口中运行以下命令: ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9093 --topic first-topic --from-beginning 发布一些消息到 Kafka 生产者终端,并在另一个终端中查看消费者消息确认它成功工作。 至此,您就成功在 CentOS 7 上安装和配置 Kafka。 ### 回答3: CentOS7是一种非常流行的操作系统,而Kafka是一种分布式消息系统。在CentOS7安装Kafka可能有点棘手,但是如果您遵循以下详细的教程,就可以轻松完成。 准备工作: 在安装Kafka之前,您需要使用以下命令安装Java和Zookeeper: 1.安装Java: yum install java-1.8.0-openjdk 2.安装Zookeeper: yum install zookeeper-server 让我们继续进行Kafka安装 步骤 1:下载Kafka 首先,您需要到Kafka官方网站下载Kafka,使用以下命令下载软件包。 wget http://apache.stu.edu.tw/kafka/2.2.0/kafka_2.12-2.2.0.tgz 步骤二:解压Kafka 使用以下命令解压缩Kafka软件包: tar -zxvf kafka_2.12-2.2.0.tgz 步骤三:启动Zookeeper 在启动Kafka之前,你需要启动Zookeeper,使用以下命令启动: systemctl start zookeeper 步骤四:配置Kafka安装Kafka之前,你需要创建一个目录来保存Kafka的所有数据。在这里,我们创建一个名为“kafka”的目录。 mkdir /opt/kafka 使用以下命令打开Kafka配置文件: vim kafka_2.12-2.2.0/config/server.properties 你需要修改以下属性: broker.id=0 listeners=PLAINTEXT://localhost:9092 advertised.listeners=PLAINTEXT://[你的服务器IP地址]:9092 log.dirs=/opt/kafka/kafka-logs 注意:在修改advertised.listeners属性时,请将IP地址替换为你的服务器IP地址。 步骤五:启动Kafka 在配置完Kafka之后,你需要使用下面的命令启动Kafka服务: nohup /opt/kafka/kafka_2.12-2.2.0/bin/kafka-server-start.sh /opt/kafka/kafka_2.12-2.2.0/config/server.properties > /opt/kafka/kafka.log 2>&1 & 最后检查运行状态: /opt/kafka/kafka_2.12-2.2.0/bin/kafka-topics.sh --zookeeper localhost:2181 --list 检查一下它的运行状态,如果你看到了关于Kafka的所有内容,那么恭喜你,你已经成功地在CentOS 7上安装Kafka。 注意:如果您的CentOS7防火墙已经启用,您需要添加以下端口: firewall-cmd --zone=public --add-port=9092/tcp --permanent firewall-cmd --reload 以上就是CentOS7安装Kafka的详细步骤。您现在可以开始使用Kafka来构建分布式消息系统,从而提高您的应用程序的性能和可靠性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值