Kafka学习笔记00-简介

简介

Kafka 可以用于构造基于发布订阅模式的实时数据通道， 以及流式处理（Streams Processing)应用

使用场景

先通过几个业界真实例子直观感受下

1. 纽约时报使用Kafka发布内容 （下面部分内容和图片有直接引用原文）

使用Kafka前，内容使用者通过生产者提供的API获取内容
使用这种方式的缺点有
(1) 各个生产者提供的API由不同的团队开发，API语义无法统一，消费者需要针对各个生产者都开发一次
(2)另外更严重的问题是，某些系统比较难提供已归档内容的查询
(3)API的调用的耗时时间无法保证

使用Kafka解耦生产者与消息者

在引用Kafka后，内容生产者发送内容到Kafka集群（可以理解为发布通道），消费者从Kafka集群消费内容；新架构统一了内容传递协议（统一消息格式），消费者与生产者解耦，各自可以更专注于本领域的业务。

使用场景总结

1、发布订阅模式帮助内容生产者与消费者的解耦
2、基于日志的架构模式，日志记录着数据变更的事件，也就可以根据事件来还原数据，消费者对感兴趣的事件进行处理，而不需要数据持有者为了适配各种需求要做频繁的变更
3、在高并发场景的削峰填谷

特色

• 消费者可按消息产生的顺序来消费消息(通过单topic单partition)
• Kafka 可以永久保留消息内容，消费者可以选择从offset 0来开始消费消息，也可以只消费最新的消息，不同系统可以按需所取

[参考文档]
[1]: https://kafka.apache.org
[2]: https://open.nytimes.com/publishing-with-apache-kafka-at-the-new-york-times-7f0e3b7d2077