kafka
文章平均质量分 74
ldcaws
这个作者很懒,什么都没留下…
展开
-
springboot、spring-kafka、kafka-client的版本对应关系
在使用springboot集成kafka的时候需要注意springboot版本、引用的依赖spring-kafka版本和kafka中间件版本的对应关系,否则可能会因为版本不兼容导致出现错误。原创 2024-01-05 19:30:00 · 3904 阅读 · 0 评论 -
Kafka进阶(二)
Kafka控制器Controller即Broker,是Kafka的核心组件,其主要作用是在Zookeeper的帮助下管理和协调整个Kafka集群。集群中任意一台Broker都能充当控制器的角色,但是在运行过程中,只能有一个Broker成为控制器,来执行管理和协调的职责,也就是说每个正常运转的Kafka集群,在任意时刻都有且只有一个控制器。原创 2023-04-10 22:19:19 · 493 阅读 · 0 评论 -
Kafka进阶(一)
Kafka以高吞吐量、低延迟、高并发、高可扩展性而自称,并在越来越多的场景中应用。下面聊聊Kafka高可用、高性能、高并发的设计原理。原创 2023-03-15 19:00:00 · 431 阅读 · 0 评论 -
Kafka入门(七)
下面聊聊Kafka的配置参数,包括生产者的配置参数、Broker的配置参数、消费者的配置参数。原创 2023-03-09 21:30:00 · 4067 阅读 · 0 评论 -
Kafka入门(六)
在引入Kafka服务后,当consumer消费完数据后需要进行位移提交,那么提交的位移数据究竟存储到那里,有以何种方式进行存储?原创 2023-03-01 21:15:00 · 974 阅读 · 0 评论 -
Kafka入门(五)
下面聊聊Kafka常用命令。原创 2023-02-28 20:00:00 · 1523 阅读 · 0 评论 -
Kafka入门(四)
生产者就是负责向Kafka发送消息的应用程序,消费者就是拉取Kafka消息的应用程序。基于Scala语言编写的客户端,称为旧客户端,已废弃;基于Java语言编写的客户端(从Kafka0.9.x开始),称为新客户端,它弥补了就客户端中存在的诸多设计缺陷;pom依赖。原创 2023-02-10 22:10:55 · 489 阅读 · 0 评论 -
Kafka入门(三)
kafka的下载安装及测试原创 2023-02-08 07:00:00 · 771 阅读 · 0 评论 -
Kafka入门(二)
下面了解一下Kafka的工作流程,Kafka集群会将消息存储在Topic中,每条记录会由一个Key、一个Value和一个Timestamp组成。Kafka中的消息是以Topic进行分类的,生产者生产消息,消费者消费消息,读取和消费的都是同一个Topic。Topic是逻辑上的概念,Partition是物理上的概念,每个Partition对应一个log文件,该log文件中存储的就是Producer生产的数据。原创 2023-02-07 20:34:20 · 395 阅读 · 0 评论 -
Kafka入门(一)
Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域(hadoop集群)、物联网领域。原创 2023-02-03 22:29:56 · 190 阅读 · 1 评论 -
kafka再浅析
通常可以使用kafka-console-consumer.sh和kafka-console-producer.sh脚本来测试 Kafka 生产和消费,kafka-consumer-groups.sh可以查看和管理集群中的 Topic,kafka-topics.sh通常用于查看 Kafka 的消费组情况。Kafka 有消费组的概念,每个消费者只能消费所分配到的分区的消息,每一个分区只能被一个消费组中的一个消费者所消费,所以同一个消费组中消费者的数量如果超过了分区的数量,将会出现有些消费者分配不到消费的分区。原创 2022-12-27 21:00:00 · 675 阅读 · 0 评论 -
kafka再相识
kafka相关术语生产者:producer消费者:consumer主题:topic实例:broker消息:record,由一个key、一个value和时间戳构成分区:partition,topic有多个partion偏移量:offset,分区partion中的每个消息record有一个偏移量offset副本:分区的备份消费方式:队列和发布订阅,队列是一组消费者从服务器读取消息,一条消息只有其中一个消费者来消费;发布订阅是消息被广播给所有消费者,一条消息可以被所有消费者进行消费。kafka原创 2021-11-13 13:36:19 · 1434 阅读 · 0 评论 -
springboot+kafka初尝试
MQ:消息队列,消息的传输过程中的容器;主要提供生产、消费接口供外部调用做数据的存储和获取。MQ分类:点对点(p2p)、发布订阅(Pub/Sub)Kafka:一种消息队列,符合发布订阅模式。Kafka使用场景:指标:Kafka通常用于操作监控数据。 运营指标:Kafka经常用来记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告。 日志聚合:Kafka可用于跨组织从多个服务收集日志,并使它们以标准格式提供给多个服务器。 消息系统:解耦生产者和消费者、.原创 2021-01-31 17:40:19 · 374 阅读 · 0 评论