![](https://img-blog.csdnimg.cn/20210503121518874.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
文章平均质量分 89
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,主要用于大数据领域。
NPException.
逐梦路上哥并不孤独,因为有梦想和孤独陪着哥!——pyh
展开
-
10.Kafka-Kraft 架构
左图为 Kafka 现有架构,元数据在 zookeeper 中,运行时动态选举 controller,由controller 进行 Kafka 集群管理。右图为 kraft 模式架构(实验性),不再依赖 zookeeper 集群,而是用三台 controller 节点代替 zookeeper,元数据保存在 controller 中,由controller 直接进行 Kafka 集群管理。这样做的好处有以下几个:Kafka kraft是2.8+的新特性,所以安装的版本必须是2.8+。参考:Kafka官网下载地原创 2022-07-05 18:41:38 · 587 阅读 · 1 评论 -
9.Kafka拦截器
拦截器原理Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的,主要用于实现 clients 端的定制化控制逻辑。对于 producer 而言,interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer 允许用户指定多个 interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor 的实现接口是org.apache.原创 2021-08-23 23:59:52 · 163 阅读 · 0 评论 -
8.Kafka消费者API
环境准备java环境kafka环境kafka-clients jar包或者依赖:<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.8.0</version></dependency>Kafka APIConsumer 消费数据时的可靠性是很原创 2021-08-06 00:10:09 · 150 阅读 · 0 评论 -
7.Kafka生产者API
环境准备java环境kafka环境kafka-clients jar包或者依赖:<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.8.0</version> </depen原创 2021-07-25 15:34:23 · 284 阅读 · 0 评论 -
6.Kafka消费者
消费方式Kafka消费者消费模式有两种:pull(拉)模式和push(推)模式。consumer 默认采用 pull(拉)模式从 broker 中读取数据。pull 模式不足之处是,如果 kafka 没有数据,消费者可能会陷入循环中,一直返回空数据。针对这一点,Kafka 的消费者在消费数据时会传入一个时长参数 timeout,如果当前没有数据可供消费,consumer 会等待一段时间之后再返回,这段时长即为 timeout。push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由 br原创 2021-07-19 23:12:54 · 926 阅读 · 3 评论 -
5.Kafka之Broker、Producer和Consumer知识点汇总
本章纯属理论篇,其中涉及到面试常问的理论知识点。zookeeper存储kafka信息默认根路径为 /,根路径配置项为,我的配置为:zookeeper.connect=localhost:2181,localhost:2182,localhost:2183/kafka,所以根路径为/kafka。kafka相关信息都存储在了配置的根路径下。consumer或者producer客户端连接kafka集群,然后通过kafka集群到zookeeper集群寻找 /{根目录}/topics/{topic}/partitio原创 2021-07-06 23:44:50 · 1378 阅读 · 1 评论 -
4.Kafka常用操作命令
操作命令以下所有操作命令都kafka安装目录下操作。启动kafkabin/kafka-server-start.sh -daemon config/server.properties-daemon:表示以非阻塞式后台启动kafka关闭kafkabin/kafka-server-stop.sh创建topicbin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 1 --part原创 2021-06-18 01:08:42 · 769 阅读 · 1 评论 -
3.Kafka集群安装
kafka安装安装包下载地址:http://kafka.apache.org/downloads.html解压安装包 tar -zxvf kafka_2.12-2.8.0.tgz安装zookeeper单机安装参考:2.zookeeper单机安装集群部署参考:10.zookeeper集群修改kafka配置文件#broker的全局唯一整数编号,不能重复broker.id=0#开启删除topic功能使能,默认为false不开启delete.topic.enable=true原创 2021-06-15 23:17:57 · 289 阅读 · 5 评论 -
2.Kafka介绍
定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。使用消息队列好处解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。可恢复性系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。缓冲有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况。削峰在访问量剧增的情况下,应用仍原创 2021-05-03 14:55:00 · 151 阅读 · 0 评论 -
1.MQ介绍
什么是MQmq(message queue):面向消息的中间件(message-oriented middleware)是指利用高效可靠的消息传递机制与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型在分布式环境下提供应用解耦,弹性伸缩,冗余存储、流量削峰,异步通信,数据同步等功能。发送者把消息发送给消息服务器,消息服务器将消息存放在若干队列/主题topic中,在合适的时候,消息服务器回将消息转发给接受者。在这个过程中,发送和接收是异步的,也就是发送无需等待,而原创 2020-12-16 23:42:05 · 2235 阅读 · 3 评论