定义
官方介绍:Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications.
Apache Kafka是一个开放源代码的分布式事件流平台,成千上万的公司使用它来实现高性能数据管道,流分析,数据集成和关键任务应用程序。
什么是事件流
核心特点
高通量
使用延迟低至2ms的计算机集群以网络受限的吞吐量传递消息。
可扩展
可以将生产集群规模扩展到多达一千个经纪人,每天数万亿条消息,数PB的数据以及数十万个分区。弹性地扩展和收缩存储和处理。
永久储存
将数据流安全地存储在分布式的,持久的,容错的群集中。
高可用性
在可用区上有效地扩展群集,或跨地理区域连接单独的群集。
优势
关键任务
支持关键任务用例,确保有序的订购,零消息丢失和高效的一次处理。
受到成千上万组织的信任
从互联网巨头到汽车制造商再到证券交易所,成千上万的组织使用Kafka。超过500万次的终身唯一下载次数。
广大的用户社区
Kafka是Apache Software Foundation五个最活跃的项目之一,在世界各地有数百次聚会。
丰富的在线资源
丰富的文档,在线培训,指导教程,视频,示例项目,堆栈溢出等。
与常用MQ组件比较
所以kafaka适合于:
1.如果由日志采集功能、实时计算-Kafka首选
2.吞吐量极高
3.适合大数据,专门用于处理数据