【Kafka Connect】

概念

Kafka Connect是一个用于将数据流输入和输出Kafka的框架。Confluent平台附带了几个内置connector，可以使用这些connector进行关系数据库或HDFS等常用系统到kafka的数据传输

特点

1. 数据从数据源读出或写入时延低；
2. 从从不同数据源获取数据或将数据写入到不同数据源（如：客户端、数据库、HDFS、静态文件等等）

组件

Connectors

通过管理task来协调数据流的高级抽象。
可分为两种connectors：

• Source connector
  源连接器可以从多种渠道（如：数据库、静态文件、HDFS客户端等）拉取数据到kafka topic中
• Sink connector
  宿连接器将topic中的数据push到多种目的端消费。将Kafka主题中的数据传递到Elasticsearch等二级索引中，或Hadoop等批处理系统中，用于离线分析。
  

Tasks

如何将数据复制到Kafka或从Kafka复制数据的实现。实际进行数据传输的单元，和连接器一样同样分为 Source和Sink
Task是Connect数据模型中的主要处理数据的角色。每个connector实例协调一组实际复制数据的task。通过允许connector将单个作业分解为多个task，Kafka Connect提供了内置的对并行性和可伸缩数据复制的支持，只需很少的配置。这些任务没有存储任何状态。任务状态存储在Kafka中的特殊主题config.storage.topic和status.storage.topic中。因此，可以在任何时候启动、停止或重新启动任务，以提供弹性的、可伸缩的数据管道。

Workers

执行Con