kafka
wchbest
这个作者很懒,什么都没留下…
展开
-
Kafka工作流程 - 学习总结
一、为什么需要消息系统1)解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2)冗余 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。3)扩展性 因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程即可。4)灵活性 & 峰值处理能力 在原创 2020-10-31 10:54:58 · 489 阅读 · 0 评论 -
kafka 基础知识梳理及集群环境部署记录
一、kafka基础介绍 0. kakfa概述 Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica)开源消息系统,由Scala写成,是由Apache软件基金会开发的一个开源消息系统项目,该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。kafka基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处原创 2020-10-31 10:53:41 · 601 阅读 · 0 评论