kafka源码解析之一kafka诞生的背景

最新推荐文章于 2025-06-03 09:51:43 发布

亮亮-AC米兰

最新推荐文章于 2025-06-03 09:51:43 发布

阅读量4.6k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： kafka kafka源码解析文章标签： kafka 源码

本文链接：https://blog.csdn.net/wl044090432/article/details/50958110

Apache Kafka是由LinkedIn开发的开源消息系统，后来成为Apache顶级项目。Kafka是一个分布式、分区、多复本的日志提交服务，用于实时数据处理和数据管道。其设计目标包括高效的消息持久化、高吞吐量、消息分区与顺序保证、支持离线和实时处理以及水平扩展。Kafka在LinkedIn内部用于监控、传统消息、分析和其他分布式系统组件。使用消息系统可以实现解耦、冗余、扩展性、灵活性、可恢复性、顺序保证和缓冲功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Apache Kafka是由Apache软件基金会开发的一个开源消息系统项目，由Scala写成。Kafka最初是由LinkedIn开发（LinkedIn (领英) 创建于2002 年，致力于向全球职场人士提供沟通平台，并协助他们事半功倍，发挥所长。作为全球最大的职业社交网站，LinkedIn 会员人数在世界范围内已超过3 亿，每个《财富》世界500强公司均有高管加入），并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。

Kafka是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统的功能。现已与Cloudera Hadoop，Apache Storm，Apache Spark集成。在LinkedIn内部被用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。

kafka在LinkedIn内部的应用：