kafka connector

原创 2016年05月31日 18:51:33

转载+修改 来自: http://colobu.com/2016/02/24/kafka-connect/  

Kafka 0.9+增加了一个新的特性 Kafka Connect ,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型,通过 connectors 可以将大数据从其它系统导入到Kafka中,也可以从Kafka中导出到其它系统。Kafka Connect可以将完整的数据库注入到Kafka的Topic中,或者将服务器的系统监控指标注入到Kafka,然后像正常的Kafka流处理机制一样进行数据流处理。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等,比如数据库、 Elastic Search 、Apache Ignite 等。

Kafka Connect特性包括:

  • Kafka connector通用框架,提供统一的集成API
  • 同时支持分布式模式和单机模式
  • REST 接口,用来查看和管理Kafka connectors
  • 自动化的offset管理,开发人员不必担心错误处理的影响
  • 分布式、可扩展
  • 流/批处理集成

流数据平台

基于Kafka, LinkedIn等一些大公司已经建立起架构类似的、可扩展的流数据平台。它包含两个功能,数据集成和流处理。Kafka Connect则是为数据集成而生。

多年来,Kafka已经成为处理大数据流的平台标准, 成千上万的公司在使用它 。程序员在构建它们的平台的时候也遇到一些问题:

  • Schema管理
  • 容错
  • 并行化
  • 数据延迟
  • 分发担保
  • 运营与监控

这些棘手的问题都要程序员去处理,如果有一个统一的框架去完成这些事情,将可以大大减少程序员的工作量,因此Kafka 0.9中提供了这一特性,负责处理这些问题。

Kafka背后的公司confluent鼓励社区创建更多的开源的connector,将Kafka生态圈壮大起来,促进Kafka Connnect的应用。

Kafka Connnect有两个核心概念:Source和Sink。 Source负责导入数据到Kafka,Sink负责从Kafka导出数据,它们都被称为Connector。

在这里原作没有提出一个核心的观点,也就是数据仓库转移(ETL)。

Kafka Connect is a tool for scalably and reliably streaming data between Apache Kafka and other systems. It makes it simple to quickly define connectors that move large collections of data into and out of Kafka. Kafka Connect can ingest entire databases or collect metrics from all your application servers into Kafka topics, making the data available for stream processing with low latency. An export job can deliver data from Kafka topics into secondary storage and query systems or into batch systems for offline analysis. Kafka Connect features include:

另外,现在有些公司提供了更为细度的集群管理。 以往,我们consumer 的所有group都是有zookeeper 来控制,那么完全不相干的group之间的其中一个consumer有一些变化,整个consumer集群变回由zookeeper来进行re-balance。现如今更细度的管理,使用kafka connect可以仅对某一个group中的consumer进行re-balance。 (此处 关于是针对所有consumer来进行re-balance还是group内 可以依据项目 来定)

当前Kafka Connect支持两种分发担保:at least once (至少一次) 和 at most once(至多一次),exactly once将在未来支持。

当前已有的Connectors包括:

Connector Name Owner Status
HDFS confluent-platform@googlegroups.com Confluent supported
JDBC confluent-platform@googlegroups.com Confluent supported
Debezium - CDC Sources debezium@gmail.com Community project
MongoDB Source a.patelli@reply.de   a.topchyan@reply.de In progress
MQTT Source tomasz.pietrzak@evok.ly Community project
MySQL Binlog Source wushujames@gmail.com In progress
Twitter Source rollulus@xs4all.nl In progress
Cassandra Sink Cassandra Sink Community project
Elastic Search Sink ksenji@gmail.com Community project
Elastic Search Sink hannes.stockner@gmail.com In progress
Elastic Search Sink a.patelli@reply.de   a.topchyan@reply.de In progress
Apache Ignite Sink Apache Ignite Project

Community project

(Planned for Apache Ignite 1.6 Release)

Connectors的发布和开发可以参照 官方文档 。如果以前你通过producer API/consumer API写了一些导入导出的功能,不妨尝试一下换成Kafka Connect,看看是否简化了你的代码,提高了应用可扩展和容错的能力。

以下部分为个人原创



版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

kafka connector commit 失败

有个很重要的概念,kafka会管理如何分配分区的消费 (1)当某个consumer消费了数据,但是在特定的时间内没有commit,它就认为consumer挂了。这个时候就要reblance了。这个时间...

Kafka 之六 connector

一:介绍             kafka Connect 是一个kafka和其他系统交互稳定的流处理。它使kafka和其他系统的数据交互变的十分容易。它可以把其他系统的数据导入到ka...

Kafka(二)Kafka Connector与Debezium

Kafka Connector与Debezium 1.介绍 kafka connector 是连接kafka集群和其他数据库、集群等系统的连接器。kafka connector可以进行多种系统类型与k...

Tomcat源码分析之Connector

在客户端访问tomcat的时候有一层叫做connector的东西,这其实是处理来自于客户端的协议,左边的coyote connector是对HTTP/1.1协议处理,右边的jk connector是对...

sap java connector(JCO)

SAP Java Connector(JCo)        JCo是一个高性能的,基于JNI的中间件,它实现了SAP的RFC(Remote Function Call)协议。     ...

tomcat学习笔记(2)——Connector模块

连接器

Tomcat-connector的微调(1): acceptCount参数(socket的backlog)(重要)

对于acceptCount这个参数,含义跟字面意思并不是特别一致(个人感觉),容易跟maxConnections,maxThreads等参数混淆;实际上这个参数在tomcat里会被映射成backlog...

Mercedes Benz SD connector c4

Mercedes Benz SD connector c4 support reading out & erasing trouble code,reading the real-time dat...

Android/JAVA下基于java-simple-serial-connector串口开发完整教程

列个纲: 1.根据.cpp文件和.h文件制作so库; 2.基础API认识; 3.代码示例; 以下正文: 1. 笔者android studio版本为:2.1.1    1.1将项目...

tomcat学习笔记(三) Connector

从这章开始我都不知道该怎么写了。代码太多了,肯定没办法贴出来。我只能大概介绍一下这章做了些什么工作。          首先这章加了一个用来启动的类BootStrap,加了一个HttpConnect...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)