Apache Kafka的生态

Kafka 生态系统

• 微信公众号：阿俊的学习记录空间

• 小红书：ArnoZhang

• wordpress：arnozhang1994

• 博客园：arnozhang

• CSDN：ArnoZhang1994

以下是与 Kafka 集成的工具列表，涵盖了不同领域的工具和扩展。这些工具并非全部经过验证使用，部分可能不兼容或存在问题。

Kafka Connect

Kafka 提供了内置框架 Kafka Connect，用于编写数据源和数据接收器。该框架支持将数据持续写入 Kafka，或将 Kafka 中的数据写入外部系统。不同应用或数据系统的连接器是独立于 Kafka 主代码库维护的。Confluent Hub 提供了连接器的外部托管列表。

流处理

• Kafka Streams: Kafka 内置的流处理库，包含丰富的文档和代码示例。
• 其他流处理框架:
  • Storm: 流处理框架，支持通过 Kafka 作为消息源。
  • Samza: 基于 YARN 的流处理框架。
  • SparkStreaming: 支持 Kafka 0.8 及以上版本。
  • Flink: 与 Kafka 有集成。
  • IBM Streams: 支持 Kafka 消息的消费和生产。
  • Spring Cloud Stream: 用于构建事件驱动微服务的框架。
  • Apache Apex: 提供 Kafka 的源和接收器连接器。
  • Logstash: 提供 Kafka 输入和输出插件。
  • Logagent: 具有 Kafka 插件的日志处理工具。

Hadoop 集成

• Confluent HDFS Connector: Kafka Connect 框架中的 HDFS 接收器。
• Camus: LinkedIn 的 Kafka 到 HDFS 管道工具。
• Flume: 提供 Kafka 作为数据源和接收器的支持。
• KaBoom: 高性能的 HDFS 数据加载器。

数据库集成

• Confluent JDBC Connector: 用于从 RDBMS（如 MySQL）向 Kafka 写入数据的 Kafka Connect 框架源连接器。
• Oracle Golden Gate Connector: 通过 Golden Gate 采集 CDC 操作并写入 Kafka。

搜索与查询

• Elasticsearch: 支持将 Kafka 消息处理并索引到 Elasticsearch，Kafka Connect 也提供 Elasticsearch 的连接器。
• Presto: 允许使用 SQL 查询 Kafka 数据。
• Hive: 使用 Hive SQL 查询 Kafka（目前仅支持 Avro）。
• OpenMLDB Kafka Connector: 支持通过 SQL 定义和提取数据流中的特征，用于机器学习应用。

管理控制台

• Kafka Manager: 管理 Kafka 的工具。
• Kafka Web Console: 显示 Kafka 集群状态和主题信息。
• Kafka Offset Monitor: 显示消费者的状态及其滞后情况。
• Cruise Control: 自动化动态负载重新平衡和集群自愈工具。
• Burrow: 提供消费者延迟检查服务。
• Xinfra Monitor: 监控 Kafka 集群和镜像管道的可用性与性能。

AWS 集成

• 自动化 AWS 部署: 相关工具支持 Kafka 与 AWS S3 的镜像工具。

日志记录

• syslog 集成: 提供 syslog 生产者支持，常见的日志收集工具（如 syslog-ng、klogd 等）都可与 Kafka 集成。
• Logstash 集成: Logstash 和 Fluentd 插件支持 Kafka。

指标监控

• Mozilla Metrics Service: 基于 Kafka 和 Protocol Buffers 的指标和日志系统。
• Ganglia Integration: Ganglia 与 Kafka 的集成。
• Sematext Kafka 监控集成: 提供 200+ Kafka 指标的收集和图表展示。
• Dropwizard Metrics 集成: 支持将 Kafka 客户端和流处理的内建指标注册到 Dropwizard Metrics。

打包与部署

• RPM 和 Debian 打包: 提供 Kafka 的 RPM 和 Debian 打包支持。
• Puppet 集成: 提供 Puppet 模块管理 Kafka 的配置和部署。

Kafka Camel 集成

• 提供与 Apache Camel 的 Kafka 集成，支持 Camel-Kafka 组件。

其他工具

• Kafka Websocket: 支持通过 Websocket 与浏览器通信的 Kafka 代理。
• KafkaCat: 原生命令行生产者和消费者工具。
• Kafka Mirror: 替代内置镜像工具的 Kafka 镜像工具。
• uReplicator: 跨数据中心的 Kafka 集群复制工具。
• Mirus: 基于 Kafka Connect 的分布式高容量复制工具。