kafka connector

原创 2016年05月31日 18:51:33

转载+修改 来自: http://colobu.com/2016/02/24/kafka-connect/  

Kafka 0.9+增加了一个新的特性 Kafka Connect ,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型,通过 connectors 可以将大数据从其它系统导入到Kafka中,也可以从Kafka中导出到其它系统。Kafka Connect可以将完整的数据库注入到Kafka的Topic中,或者将服务器的系统监控指标注入到Kafka,然后像正常的Kafka流处理机制一样进行数据流处理。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等,比如数据库、 Elastic Search 、Apache Ignite 等。

Kafka Connect特性包括:

  • Kafka connector通用框架,提供统一的集成API
  • 同时支持分布式模式和单机模式
  • REST 接口,用来查看和管理Kafka connectors
  • 自动化的offset管理,开发人员不必担心错误处理的影响
  • 分布式、可扩展
  • 流/批处理集成

流数据平台

基于Kafka, LinkedIn等一些大公司已经建立起架构类似的、可扩展的流数据平台。它包含两个功能,数据集成和流处理。Kafka Connect则是为数据集成而生。

多年来,Kafka已经成为处理大数据流的平台标准, 成千上万的公司在使用它 。程序员在构建它们的平台的时候也遇到一些问题:

  • Schema管理
  • 容错
  • 并行化
  • 数据延迟
  • 分发担保
  • 运营与监控

这些棘手的问题都要程序员去处理,如果有一个统一的框架去完成这些事情,将可以大大减少程序员的工作量,因此Kafka 0.9中提供了这一特性,负责处理这些问题。

Kafka背后的公司confluent鼓励社区创建更多的开源的connector,将Kafka生态圈壮大起来,促进Kafka Connnect的应用。

Kafka Connnect有两个核心概念:Source和Sink。 Source负责导入数据到Kafka,Sink负责从Kafka导出数据,它们都被称为Connector。

在这里原作没有提出一个核心的观点,也就是数据仓库转移(ETL)。

Kafka Connect is a tool for scalably and reliably streaming data between Apache Kafka and other systems. It makes it simple to quickly define connectors that move large collections of data into and out of Kafka. Kafka Connect can ingest entire databases or collect metrics from all your application servers into Kafka topics, making the data available for stream processing with low latency. An export job can deliver data from Kafka topics into secondary storage and query systems or into batch systems for offline analysis. Kafka Connect features include:

另外,现在有些公司提供了更为细度的集群管理。 以往,我们consumer 的所有group都是有zookeeper 来控制,那么完全不相干的group之间的其中一个consumer有一些变化,整个consumer集群变回由zookeeper来进行re-balance。现如今更细度的管理,使用kafka connect可以仅对某一个group中的consumer进行re-balance。 (此处 关于是针对所有consumer来进行re-balance还是group内 可以依据项目 来定)

当前Kafka Connect支持两种分发担保:at least once (至少一次) 和 at most once(至多一次),exactly once将在未来支持。

当前已有的Connectors包括:

Connector Name Owner Status
HDFS confluent-platform@googlegroups.com Confluent supported
JDBC confluent-platform@googlegroups.com Confluent supported
Debezium - CDC Sources debezium@gmail.com Community project
MongoDB Source a.patelli@reply.de   a.topchyan@reply.de In progress
MQTT Source tomasz.pietrzak@evok.ly Community project
MySQL Binlog Source wushujames@gmail.com In progress
Twitter Source rollulus@xs4all.nl In progress
Cassandra Sink Cassandra Sink Community project
Elastic Search Sink ksenji@gmail.com Community project
Elastic Search Sink hannes.stockner@gmail.com In progress
Elastic Search Sink a.patelli@reply.de   a.topchyan@reply.de In progress
Apache Ignite Sink Apache Ignite Project

Community project

(Planned for Apache Ignite 1.6 Release)

Connectors的发布和开发可以参照 官方文档 。如果以前你通过producer API/consumer API写了一些导入导出的功能,不妨尝试一下换成Kafka Connect,看看是否简化了你的代码,提高了应用可扩展和容错的能力。

以下部分为个人原创



版权声明:本文为博主原创文章,未经博主允许不得转载。

kafka connector commit 失败

有个很重要的概念,kafka会管理如何分配分区的消费 (1)当某个consumer消费了数据,但是在特定的时间内没有commit,它就认为consumer挂了。这个时候就要reblance了。这个时间...

Kafka 之六 connector

一:介绍             kafka Connect 是一个kafka和其他系统交互稳定的流处理。它使kafka和其他系统的数据交互变的十分容易。它可以把其他系统的数据导入到kafka中,...

Kafka(二)Kafka Connector与Debezium

Kafka Connector与Debezium 1.介绍 kafka connector 是连接kafka集群和其他数据库、集群等系统的连接器。kafka connector可以进行多种系统类型与k...

Jetty 9 源码分析 Connector及Server类(一)

本文的源码基于Jetty9,主要分析了Jetty 的Connector与Server类间在Jetty启动过程中的一些细节。Jetty9 对以前的Connector体系进行了重构, 结构与6和7都不同,...

启动 MATLAB Connector 时出错。请检查端口 31515 是否可用。

启动 MATLAB Connector 时出错。请检查端口 31515 是否可用。 感觉很多人装上Matlab2016a都会遇上这种情况,然后郁闷至极,苦苦找不到解决办法。 今天小西为大家送上解决方案...

Tomcat架构分析之Connector NIO 实现

上篇介绍的connector是基于BIO的实现。除了BIO外,也可以通过配置快速部署NIO的connector。在server.xml中如下配置; Xml代码   ...

Tomcat中Connector常用配置

Tomcat中Connector常用配置     Tomcat中server.xml有些配置信息是需要我们了解的,最起码知道如何进行简单的调试.       默认情况下配置信...

Tomcat Connector三种运行模式(BIO, NIO, APR)的比较和优化

Tomcat Connector的三种不同的运行模式性能相差很大,有人测试过的结果如下: 这三种模式的不同之处如下: BIO: 一个线程处理一个请求。缺点:并发量高时,线...

论mongo-connector如何将MongoDB中的json数组和嵌套对象更新至Solr引擎

有一些东西记录下来,不久之后就会再次用到。 1. 使复杂的嵌套对象从MongoDB更新到Solr 最近使用mongo-connector将MongoDB与Solr打通,对于简单的json,...

vs2015利用connector c++对数据库操作

vs2015平台 利用connector c++连接mysql数据库这几天在折腾c++连接mysql数据库,由于c++本身没有提供连接数据库的接口,只能利用c的一套来连接数据库,可是c连接数据库代码太...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:kafka connector
举报原因:
原因补充:

(最多只允许输入30个字)