学习极客时间 《Kafka核心技术与实战》入门 03-05
作者 胡夕,Apache Kafka 的一名代码贡献者,目前在社区的 Patch 提交总数位列第 22 位,应该说算是国内比较活跃的贡献者了。
胡夕老师 赠言: 聪明人也要下死功夫 。
最近工作杂事比较多,学习进度比较慢,慢慢来吧。
Kafka只是消息引擎吗?
相信对于大多数人来说,接触到Kafka基本上都是基于对消息引擎的需求,在未学习胡夕老师课程时,我对于Kafka的认知也仅限于是跟IBM-MQ、RocktMQ、RabbitMQ一样的消息引擎,用于上下游系统的消息传递。
文章中林夕老师给出答案:
Apache Kafka 是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform)
对于消息引擎系统,Kafka在设计之初就提供三个方面的特性:
- 提供一套API实现生产者和消费者
- 降低网络传输和磁盘存储开销
- 实现高伸缩性架构
对于分布式流处理平台,不是很了解,根据文章中提到的Flink是流处理平台,进行了简单的了解:接收和发送数据流并执行应用程序或分析逻辑的系统称为流处理器。流处理器的基本职责是确保数据有效流动,并且计算可扩展并具有容错能力。
流处理之前:我们的数据一般都是从各各应用系统或者渠道接收到数据保存在数据库中或者存储在NAS等文件系统中,应用程序根据需要查询或者定时计算数据。
可以结合我们熟悉的批处理来理解。通过接收到数据流后触发某个事件实时的进行