kafka
文章平均质量分 94
kafka相关技术文章
solihawk
这个作者很懒,什么都没留下…
展开
-
分布式消息系统Kafka解析
Kafka作为开源分布式消息系统,具备高吞吐低时延、高可靠和可扩展的特性,广泛应用于分布式分析处理平台。本文简要介绍[Kafka的特性及主要概念]、高可用架构及可靠性机制、生产者和消费者的处理流程等基本原理。原创 2022-11-14 08:58:36 · 1774 阅读 · 2 评论 -
大数据系列之日志数据实时分析计算
日志数据实时分析计算基于Spark Streaming和Kafka实现,本文主要介绍其中采集模块、数据清洗模块、指标计算模块、数据存储模块。原创 2021-07-05 21:18:34 · 3174 阅读 · 6 评论 -
大数据系列之Spark Streaming接入Kafka数据
Spark Streaming官方提供Receiver-based和Direct Approach两种方法接入Kafka数据,本文简单介绍两种方式的pyspark实现。原创 2021-05-07 09:00:26 · 1846 阅读 · 0 评论 -
大数据系列之Kafka集群环境部署
本文简要介绍Kafka基本概念、Kafka集群架构和Topic设计以及Kafka集群环境的配置部署,并且测试生产端和消费端的消息处理,加强对Kafka消息队列设计理念的理解。原创 2021-04-20 12:29:01 · 593 阅读 · 0 评论