Kafka入门基础知识学习笔记-Kafka只是消息引擎吗

本文介绍了Kafka不仅是消息引擎,还是一种分布式流处理平台。Kafka提供API支持生产者和消费者,优化网络传输和磁盘存储,并具有高可扩展性。在流处理方面,Kafka的优势在于端到端的正确性和轻量级的分布式流处理定位。文章还对比了Apache Kafka、Confluent Kafka和CDH/HDP Kafka的版本特点和选择建议。
摘要由CSDN通过智能技术生成

学习极客时间 《Kafka核心技术与实战》入门 03-05
作者 胡夕,Apache Kafka 的一名代码贡献者,目前在社区的 Patch 提交总数位列第 22 位,应该说算是国内比较活跃的贡献者了。

胡夕老师 赠言: 聪明人也要下死功夫 。
最近工作杂事比较多,学习进度比较慢,慢慢来吧。

Kafka只是消息引擎吗?

相信对于大多数人来说,接触到Kafka基本上都是基于对消息引擎的需求,在未学习胡夕老师课程时,我对于Kafka的认知也仅限于是跟IBM-MQ、RocktMQ、RabbitMQ一样的消息引擎,用于上下游系统的消息传递。

文章中林夕老师给出答案:
Apache Kafka 是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform)
对于消息引擎系统,Kafka在设计之初就提供三个方面的特性:

  • 提供一套API实现生产者和消费者
  • 降低网络传输和磁盘存储开销
  • 实现高伸缩性架构

对于分布式流处理平台,不是很了解,根据文章中提到的Flink是流处理平台,进行了简单的了解:接收和发送数据流并执行应用程序或分析逻辑的系统称为流处理器。流处理器的基本职责是确保数据有效流动,并且计算可扩展并具有容错能力。

流处理之前:我们的数据一般都是从各各应用系统或者渠道接收到数据保存在数据库中或者存储在NAS等文件系统中,应用程序根据需要查询或者定时计算数据。 
可以结合我们熟悉的批处理来理解。通过接收到数据流后触发某个事件实时的进行
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值