消息队列之Kafka

最新推荐文章于 2024-09-19 22:40:25 发布
最新推荐文章于 2024-09-19 22:40:25 发布
阅读量154 收藏
点赞数
分类专栏： 微服务 文章标签： kafka 分布式 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35996924/article/details/111595252
版权

消息队列之Kafka

一、Kafka的特点

Kafka 最早是由 LinkedIn 公司开发一种分布式的基于发布/订阅的消息系统，之后成为 Apache 的顶级项目。主要特点如下：

  • 同时为发布和订阅提供高吞吐量
    Kafka 的设计目标是以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对TB 级以上数据也能保证常数时间的访问性能。即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条消息的传输。
  • 消息持久化
    将消息持久化到磁盘，因此可用于批量消费，例如 ETL 以及实时应用程序。通过将数据持久化到硬盘以及 replication 防止数据丢失。
  • 分布式
    支持 Server 间的消息分区及分布式消费，同时保证每个 partition 内的消息顺序传输。这样易于向外扩展，所有的producer、broker 和 consumer 都会有多个，均为分布式的。无需停机即可扩展机器。
  • 消费消息采用 pull 模式
    消息被处理的状态是在 consumer 端维护，而不是由 server 端维护，broker 无状态，consumer 自己保存 offset。
  • 支持 online 和 offline 的场景
    同时支持离线数据处理和实时数据处理。

二、Kafka中的基本概念

在这里插入图片描述
1. Broker
Kafka 集群中的一台或多台服务器统称为 Broker。

2. Topic
每条发布到 Kafka 的消息都有一个类别，这个类别被称为 Topic 。（物理上不同 Topic 的消息分开存储。逻辑上一个 Topic 的消息虽然保存于一个或多个broker上，但用户只需指定消息的 Topic 即可生产或消费数据而不必关心数据存于何处）。

3. Partition
Topic 物理上的分组，一个 Topic 可以分为多个 Partition ，每个 Partition 是一个有序的队列。Partition 中的每条消息都会被分配一个有序的 id（offset）

4. Producer
消息和数据的生产者，可以理解为往 Kafka 发消息的客户端

5. Consumer
消息和数据的消费者，可以理解为从 Kafka 取消息的客户端

6. Consumer Group
每个 Consumer 属于一个特定的 Consumer Group（可为每个 Consumer 指定Group Name，若不指定 Group Name 则属于默认的 Group）。 这是 Kafka 用来实现一个 Topic 消息的广播（发给所有的 Consumer ）和单播（发给任意一个 Consumer ）的手段。一个 Topic 可以有多个 Consumer Group。Topic 的消息会复制（不是真的复制，是概念上的）到所有的 Consumer Group，但每个 Consumer Group 只会把消息发给该 Consumer Group 中的一个 Consumer。如果要实现广播，只要每个 Consumer 有一个独立的 Consumer Group 就可以了。如果要实现单播只要所有的 Consumer 在同一个 Consumer Group 。用 Consumer Group 还可以将 Consumer 进行自由的分组而不需要多次发送消息到不同的 Topic 。

三、安装kafka

3.1 下载软件包
下载 Kafka Binary 软件包。

#下载
[root@iz2ze0j4s19xhxuqg75l0zz kafka]# wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/kafka_2.12-2.3.1.tgz
#解压
[root@iz2ze0j4s19xhxuqg75l0zz kafka]# tar -zxvf kafka_2.12-2.3.1.tgz
[root@iz2ze0j4s19xhxuqg75l0zz kafka]# ll
total 184
drwxr-xr-x 3 root root  4096 Dec 23 23:14 bin  # 执行脚本
drwxr-xr-x 2 root root  4096 Dec 23 23:09 config # 配置文件
drwxr-xr-x 2 root root  4096 Dec 24 08:16 data
drwxr-xr-x 2 root root  4096 Dec 23 21:27 libs # Kafka jar 包
-rw-r--r-- 1 root root 32216 Oct 18  2019 LICENSE
drwxr-xr-x 2 root root  4096 Dec 24 08:16 logs  # 日志文件
-rw------- 1 root root  1288 Dec 23 22:58 nohup.out
-rw-r--r-- 1 root root   337 Oct 18  2019 NOTICE
drwxr-xr-x 2 root root  4096 Oct 18  2019 site-docs # 文档

3.2 配置文件
创建一个 data 目录，然后编辑 conf/server.properties 配置文件，修改数据目录为新创建的 data 目录，即 log.dirs=/usr/tool/kafka/kafka/data 。

3.3 启动 Kafka

#启动一个 Kafka Broker 服务
[root@iz2ze0j4s19xhxuqg75l0zz kafka]# bin/kafka-server-start.sh config/server.properties &
# 查看 Kafka Broker 日志。
[root@iz2ze0j4s19xhxuqg75l0zz kafka]# tail -f logs/server.log
  • 默认情况下，Kafka Broker 日志文件所在地址为 logs/server.log 。如果想要自定义，可以通过 config/log4j.properties 配置文件来进行修改。
  • 启动内存不足，修改bin/kafka-server-start.sh 中的启动内存大小export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

3.3 创建 Topic
在发送和消费消息之前，我们先来创建 Topic 。我们可以使用 bin/kafka-topics.sh 脚本，来进行 Kafka Topic 的管理。

# 创建名字为 TestTopic 的 Topic 。 
# @param replication-factor 参数：Topic 副本数
# @param partitions 参数：Topic 分区数
[root@iz2ze0j4s19xhxuqg75l0zz kafka]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic TestTopic
Created topic TestTopic.
[1]+  Killed                  bin/kafka-server-start.sh config/server.properties
# 查询 Topic 列表
[root@iz2ze0j4s19xhxuqg75l0zz kafka]# bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
TestTopic

3.4 测试发送消息
通过使用 bin/kafka-console-producer.sh 脚本，实现测试发送消息。

# 执行 kafka-console-producer.sh 脚本，进入使用命令行发送消息的模式。
[root@iz2ze0j4s19xhxuqg75l0zz kafka]# bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic TestTopic
# 每输入一行，敲回车，都会发送一条消息
>canying
>test
>yyyy
>^C[root@iz2ze0j4s19xhxuqg75l0zz kafka]#
  • 完成发送三条测试消息后，我们使用command + C终止当前脚本，退出。
  • Kafka连接服务器报错：Connection to node 1 (localhost/127.0.0.1:9092) could not be established,修改配置文件config/server.properties中的listeners=PLAINTEXT://0.0.0.0:9092(允许外部端口连接),advertised.listeners=PLAINTEXT://本机ip地址:9092（外部代理地址）

3.5 测试消费消息
通过使用 bin/kafka-console-consumer.sh 脚本，实现测试消费消息。

# 执行 kafka-console-consumer.sh 脚本，进入使用命令行消费消息
[root@iz2ze0j4s19xhxuqg75l0zz kafka]# bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic TestTopic --from-beginning
canying
test
yyyy

3.6 删除topic

[root@iz2ze0j4s19xhxuqg75l0zz kafka]# bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic TestTopic
  • 如果 kafka 启动时加载的配置文件中 server.properties 没有配置delete.topic.enable=true，那么此时的删除并不是真正的删除，而是把 topic 标记为：marked for deletion

2.7 查看所有 topic

[root@iz2ze0j4s19xhxuqg75l0zz kafka]# bin/kafka-topics.sh --zookeeper localhost:2181 --list

2.8 物理删除 topic

# 登录zookeeper客户端
[root@iz2ze0j4s19xhxuqg75l0zz bin]# /usr/tool/zookeeper/zookeeper/bin/zkCli.sh
# 找到topic所在的目录
[zk: localhost:2181(CONNECTED) 0] ls /brokers/topics
[TestTopic, __consumer_offsets]
# 找到要删除的topic,即可彻底被删除
[zk: localhost:2181(CONNECTED) 1] rmr /brokers/topics/test-topic

三、Java 客户端访问

3.1 maven工程的pom文件中添加依赖

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.11.0.1</version>
</dependency>

3.2 消息生产者

public class ProducerSample {
    public static void main(String[] args) {
        Map<String, Object> props = new HashMap<String, Object>();
        //zookeeper 的地址
        props.put("zk.connect", "127.0.0.1:2181");
        //用于建立与 kafka 集群连接的 host/port 组。
        props.put("bootstrap.servers", "101.200.142.27:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        String topic = "test-topic";
        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        producer.send(new ProducerRecord<String, String>(topic, "idea-key2", "java-message 1"));
        producer.send(new ProducerRecord<String, String>(topic, "idea-key2", "java-message 2"));
        producer.send(new ProducerRecord<String, String>(topic, "idea-key2", "java-message 3"));

        producer.close();
    }
}

3.3 消息消费者

public class ConsumerSample {
    public static void main(String[] args) {
        // topic name
        String topic = "test-topic";

        Properties props = new Properties();
        //用于建立与 kafka 集群连接的 host/port 组。
        props.put("bootstrap.servers", "127.0.0.1:9092");
        // Consumer Group Name
        props.put("group.id", "testGroup1");
        // Consumer 的 offset 是否自动提交
        props.put("enable.auto.commit", "true");
        // 自动提交 offset 到 zookeeper 的时间间隔，时间是毫秒
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        Consumer<String, String> consumer = new KafkaConsumer(props);
        consumer.subscribe(Arrays.asList(topic));
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("partition = %d, offset = %d, key = %s, value = %s%n", record.partition(), record.offset(), record.key(), record.value());
            }
        }

    }
}

3.4 启动 zookeeper

3.5 启动 kafka 服务器

3.6 运行 Consumer
先运行 Consumer ，这样当生产者发送消息的时候能在消费者后端看到消息记录。

3.7 运行 Producer
运行 Producer，发布几条消息，在 Consumer 的控制台能看到接收的消息。

在这里插入图片描述

四、启动 Kafka Manager

# 下载。可能很慢，可以考虑采用迅雷下载。
wget https://github.com/wolfogre/kafka-manager-docker/releases/download/2.0.0.2/kafka-manager-2.0.0.2.zip
# 启动一个 Kafka Manager 服务
[root@iz2ze0j4s19xhxuqg75l0zz kafka-manager]# bin/kafka-manager &
# 查看 Kafka Broker 日志
[root@iz2ze0j4s19xhxuqg75l0zz kafka-manager]# tail -f logs/application.log
Application started (Prod)
2020-12-24 14:15:01,845 - [INFO] - from play.core.server.AkkaHttpServer in main
Listening for HTTP on /0:0:0:0:0:0:0:0:9000

添加kafka集群：

  • 使用浏览器，访问 http://127.0.0.1:9000/ 地址，我们就可以看到 Kafka Manager 的界面。
    在这里插入图片描述
  • 点击导航栏的Cluster按钮，选择Add Cluster选项，进入 http://127.0.0.1:9000/addCluster地址。在该界面，我们配置新增 Kafka 集群。
    在这里插入图片描述

五、Kafka集群配置

待续…

残*影
关注
专栏目录
微服务学习之rockectmq
Herry_Xia的博客
09-15 1200
rocketmq的安装 安装配置 jdk8 上传jdk压缩文件 将文件jdk-8u212-linux-x64.tar.gz上传到 /root 目录 2. 解压缩 执行解压命令 #将jdk解压到 /usr/local/ 目录 tar -xf jdk-8u212-linux-x64.tar.gz -C /usr/local/ #切换到 /usr/local/ 目录, 显示列表, 查看解压缩的jdk目录 cd /usr/local 配置环境变量 修改 /etc/profile 配置文件, 配置环境变量
Kafka面试知识点深度剖析
过往记忆大数据
09-09 624
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。ka...
消息队列-Kafka（概念篇）
最新发布
weixin_61933613的博客
09-19 1676
总结下kafka相关概念
SpringCloudAlibaba整合RocketMQ
qq_38273070的博客
11-21 328
SpringCloudAlibaba整合RocketMQ的过程笔记
Spring Cloud Alibaba 学习 -- 4、整合RocketMQ（安装、生产、消费）
小天一直在路上
06-27 683
RocketMQ主要由 Producer、Broker、Consumer 三部分组成，其中Producer 负责生产消息，Consumer 负责消费消息，Broker 负责存储消息。Broker 在实际部署过程中对应一台服务器，每个 Broker 可以存储多个Topic的消息，每个Topic的消息也可以分片存储于不同的 Broker。Message Queue 用于存储消息的物理地址，每个Topic中的消息地址存储于多个 Message Queue 中。
SpringCloudAlibaba - 整合 RocketMQ 实现消息生产与消费
Maggieq8324的博客
09-28 1483
目录前言环境搭建搭建具体实现编写生产者（内容中心）代码测试编写消费者（用户中心）代码测试 前言 RocketMQ是一款开源的分布式消息系统，基于高可用分布式集群技术，提供低延时的、高可靠的消息发布与订阅服务 环境 win10 + Spring Cloud Hoxton.SR9 + Spring Cloud Alibaba 2.2.6.RELEASE + RocketMQ 4.7.0 搭建搭建 关于MQ与RocketMQ的环境搭建查看之前的文章 MQ的适用场景、选择、术语和概念 Windows下安装Ro
消息队列之Kafka.zip
10-23
【标题】：“消息队列之Kafka” 在大数据处理领域，Kafka是一个不可或缺的重要组件，它是一种分布式流处理平台，由LinkedIn开发并贡献给了Apache软件基金会。Kafka的设计目标是提供高吞吐量、低延迟的消息传递服务...
消息队列之kafka.md
08-11
kafka 机制详细介绍，开发进阶必备！适合 0-3 年开发工程师，面试、跳槽基础。
消息队列之kafka.docx
05-01
- **Redis**：主要用于高速缓存、数据库备份恢复、简单消息队列等场景。 - **Kafka**：主要用于实时数据分析、日志收集、流式处理等场景。 #### 四、Kafka与其他系统的集成 1. **与MySQL集成**：Kafka可以作为...
消息队列之Kafka详解
廷赫斯的博客
03-13 536
消息队列之Kafka详解1 什么是Kafka3. 基本概念4. 分区存储4.1. 分区存储数据4.2. Kafka清理过期数据有哪些方法5. Kafka安全机制5.1. 了解Kafka安全机制5.2. 配置ACL5.3. Kafka启用ACL模式6. Kafka连接器6.1. 了解连接器使用场景6.2. 特性和优势6.3. 操作Kafka连接器6.4. 开发一个简易Kafka连接器插件7. Kafka监控系统 --- Kafka Eagle7.1. Kafka Eagle 简介7.2. Kafka Eagl
消息队列之Kafka从入门到小牛
Amo Xiang的博客
08-05 2989
目录一、消息队列介绍二、 一、消息队列介绍 在没有使用消息系统以前，我们对于许多的传统业务，以及跨服务器传递消息的时候，会采用 串行方式或者并行方法； 串行方式如下：用户注册实例：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。 并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。 以上三个任务完成之后，响应给客户端，与串行的差别是并行的方式可以缩短程序整体处理的时间。 消息系统： 消息系统 负责将数据从一个应用程序传送到另一个应用程序，因此应用程序可以专注于数据，但是不必
android MessageQueue
03-24
NULL 博文链接：https://2528.iteye.com/blog/1120470
Kafka分区分配策略(Partition Assignment Strategy)
涂作权的博客
05-10 1922
问题 用过 Kafka 的同学用过都知道，每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息，我们也可能会启动多个 Consumer 去消费，而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 里面的数据。我们又知道，Kafka 存在 Consumer Group 的概念，也就是 group.id 一样的 Consumer，这些 Consumer 属于同一个Consumer Group，组内的所有消费者协调在一起来消费订阅主题(subscrib
JavaEE 企业级分布式高级架构师（二十）RocketMQ学习笔记（5）
yangwei2048的博客
10-28 1161
RocketMQ学习笔记高级功能消息查询介绍消息查询工具命令行工具第1步第2步第3步管理平台根据Topic时间范围查询Message Key查询Message Id查询客户端APIviewMessage方法实现原理Message Id组成总结Rebalance简介协调机制 高级功能 消息查询 介绍 RocketMQ提供了3种消息查询方式： 按照Message Key 查询：消息的key是业务开发在发送消息之前自行指定的，通常会把具有业务含义，区分度高的字段作为消息的key，如用户id，订单id等。 按
SpringCloudAlibaba+RocketMQ实现对消息中间件的整合
huxian1234的专栏
04-21 1279
视频号2023年度优秀创作者，互联网大厂P8技术专家，Spring Cloud Alibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者，资深架构师，技术负责人，极客时间训练营讲师，四维口袋KVP最具价值技术专家，技术领域专家团成员，2021电子工业出版社年度优秀作者，获得2023电子工业出版技术成长领路人称号。
kafka partition分配_走近kafka-Partition分配与消息可靠性
weixin_32264185的博客
01-02 307
Kafka的高可用源于其多个副本(replication)。拥有多个副本，那么带来的问题就是数据怎么同步。我们都知道数据是存放在partition物理目录下的文件里面。通过前面几节的介绍，我们也知道消息过来后直接跟partition leader交互，然后由leader进行数据同步。由于partition 的replication机制，在kafka看来partition不分leader 和 fol...
kafka partition分配_Kafka分区分配计算(分区器Partitions)
weixin_39889481的博客
12-20 904
KafkaProducer在调用send方法发送消息至broker的过程中，首先是经过拦截器Inteceptors处理，然后是经过序列化Serializer处理，之后就到了Partitions阶段，即分区分配计算阶段。在某些应用场景下，业务逻辑需要控制每条消息落到合适的分区中，有些情形下则只要根据默认的分配规则即可。在KafkaProducer计算分配时，首先根据的是ProducerRecord中...
RocketMQ和Kafka的差异对比
热门推荐
点滴之积
03-06 1万+
kafka和rocketmq的差异，broke，producer和consume上的差异。
kafka分区分配策略
Gefangenes的博客
07-23 1698
现有主流消息中间件都是生产者-消费者模型，主要角色都是：Producer -> Broker -> Consumer，上手起来非常简单，但仍有需要知识点需要我们关注，才能避免一些错误的使用情况，或者使用起来更加高效，例如本篇要讲的kafka分区分配策略。在开始前我们先简单回顾一下kafka消息存储设计，如下图：topic是一个逻辑概念，一个topic可以包含多个partition，partition才是物理概念，kafka将partition存储在broker磁盘上。
Kafka消息队列基础用法及实例
消息队列Kafka是一种分布式流处理平台，特别适用于构建实时数据管道和高吞吐量的应用场景。Kafka基于发布/订阅模型，通过分区（partition）和复制机制来确保消息的可靠传输和多消费者的并发处理。以下是关于Kafka...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值