Apache Kafka 概览

超过80%财富公司,100家公司使用kafka.

kafka是开源分布式事件流平台,被数千家公司使用在高性能数据管道,流分析,数据整合,和关键核心程序.

特点

• 高吞吐: 在网络限制内传递消息,使用群集传递延时小于2nm.
• 可扩展: 扩展生产集群到千台brokers,每天万亿条消息,数据量大小为P级数据,成千上万个分区.弹性伸缩存储和处理.
• 永久化存储:在分布式,持久性,容错性集群中安全存储流数据.
• 高可用:高效的伸缩集群通过zones或连接独立集群跨地理位置.

生态系统

• 内建系统处理: 事件流处理使用joins,聚合,过滤,事务等等,使用事件时间和精准一次处理.
• 几乎可以联接任何东西:Kafka开箱即用接口集成数百个事件源,和事件sink,包含Postgres, JMS, Elasticsearch, AWS S3,等等.
• 客户端库:在一大批语言中读写处理事件流.
• 大型开源生态工具:大型开源生态工具,利用大量社区工具.

可信的并且非常容易使用

• 核心使命: 支持核心任务,可以保证顺序,0消息丢失,高效精准一次处理.
• 被数千组织信任:数千组织使用kafka使用kafka,从互联网巨头到汽车制造商库存变化.超过5百万次下载.
• 社区用户大量使用: kafka是apache 基金会5个活跃项目之一.在世界上有数百场聚合.
• 丰富了线上资源:更多文档,现在培训,指导教程,视频,简单项目,Stack Overflow等等