kafka connector

原创 2016年05月31日 18:51:33

转载+修改 来自: http://colobu.com/2016/02/24/kafka-connect/  

Kafka 0.9+增加了一个新的特性 Kafka Connect ,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型,通过 connectors 可以将大数据从其它系统导入到Kafka中,也可以从Kafka中导出到其它系统。Kafka Connect可以将完整的数据库注入到Kafka的Topic中,或者将服务器的系统监控指标注入到Kafka,然后像正常的Kafka流处理机制一样进行数据流处理。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等,比如数据库、 Elastic Search 、Apache Ignite 等。

Kafka Connect特性包括:

  • Kafka connector通用框架,提供统一的集成API
  • 同时支持分布式模式和单机模式
  • REST 接口,用来查看和管理Kafka connectors
  • 自动化的offset管理,开发人员不必担心错误处理的影响
  • 分布式、可扩展
  • 流/批处理集成

流数据平台

基于Kafka, LinkedIn等一些大公司已经建立起架构类似的、可扩展的流数据平台。它包含两个功能,数据集成和流处理。Kafka Connect则是为数据集成而生。

多年来,Kafka已经成为处理大数据流的平台标准, 成千上万的公司在使用它 。程序员在构建它们的平台的时候也遇到一些问题:

  • Schema管理
  • 容错
  • 并行化
  • 数据延迟
  • 分发担保
  • 运营与监控

这些棘手的问题都要程序员去处理,如果有一个统一的框架去完成这些事情,将可以大大减少程序员的工作量,因此Kafka 0.9中提供了这一特性,负责处理这些问题。

Kafka背后的公司confluent鼓励社区创建更多的开源的connector,将Kafka生态圈壮大起来,促进Kafka Connnect的应用。

Kafka Connnect有两个核心概念:Source和Sink。 Source负责导入数据到Kafka,Sink负责从Kafka导出数据,它们都被称为Connector。

在这里原作没有提出一个核心的观点,也就是数据仓库转移(ETL)。

Kafka Connect is a tool for scalably and reliably streaming data between Apache Kafka and other systems. It makes it simple to quickly define connectors that move large collections of data into and out of Kafka. Kafka Connect can ingest entire databases or collect metrics from all your application servers into Kafka topics, making the data available for stream processing with low latency. An export job can deliver data from Kafka topics into secondary storage and query systems or into batch systems for offline analysis. Kafka Connect features include:

另外,现在有些公司提供了更为细度的集群管理。 以往,我们consumer 的所有group都是有zookeeper 来控制,那么完全不相干的group之间的其中一个consumer有一些变化,整个consumer集群变回由zookeeper来进行re-balance。现如今更细度的管理,使用kafka connect可以仅对某一个group中的consumer进行re-balance。 (此处 关于是针对所有consumer来进行re-balance还是group内 可以依据项目 来定)

当前Kafka Connect支持两种分发担保:at least once (至少一次) 和 at most once(至多一次),exactly once将在未来支持。

当前已有的Connectors包括:

Connector Name Owner Status
HDFS confluent-platform@googlegroups.com Confluent supported
JDBC confluent-platform@googlegroups.com Confluent supported
Debezium - CDC Sources debezium@gmail.com Community project
MongoDB Source a.patelli@reply.de   a.topchyan@reply.de In progress
MQTT Source tomasz.pietrzak@evok.ly Community project
MySQL Binlog Source wushujames@gmail.com In progress
Twitter Source rollulus@xs4all.nl In progress
Cassandra Sink Cassandra Sink Community project
Elastic Search Sink ksenji@gmail.com Community project
Elastic Search Sink hannes.stockner@gmail.com In progress
Elastic Search Sink a.patelli@reply.de   a.topchyan@reply.de In progress
Apache Ignite Sink Apache Ignite Project

Community project

(Planned for Apache Ignite 1.6 Release)

Connectors的发布和开发可以参照 官方文档 。如果以前你通过producer API/consumer API写了一些导入导出的功能,不妨尝试一下换成Kafka Connect,看看是否简化了你的代码,提高了应用可扩展和容错的能力。

以下部分为个人原创



版权声明:本文为博主原创文章,未经博主允许不得转载。

Kafka 之六 connector

一:介绍             kafka Connect 是一个kafka和其他系统交互稳定的流处理。它使kafka和其他系统的数据交互变的十分容易。它可以把其他系统的数据导入到kafka中,...
  • lisi1129
  • lisi1129
  • 2016年12月20日 09:35
  • 1387

kafka connect简介以及部署

Kafka Connect是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单。...
  • u011687037
  • u011687037
  • 2017年02月26日 15:43
  • 5955

kafka connector之sink

1.kafka connector基本架构模型图 topic log consumer connector Kafka connect有两个概念...
  • qnamqj
  • qnamqj
  • 2016年11月29日 11:32
  • 389

Kafka(二)Kafka Connector与Debezium

Kafka Connector与Debezium 1.介绍 kafka connector 是连接kafka集群和其他数据库、集群等系统的连接器。kafka connector可以进行多种系统类型与k...
  • lengyan110
  • lengyan110
  • 2017年05月28日 12:35
  • 1719

kafka connect

kafka connect是一个kafka与其他系统进行数据流交换的可扩展并且高可用的工具 它可以简单定义connect将大的数据集放入kafka,比如它可以低延迟的将数据库或者应用服务器中的me...
  • chuanzhongdu1
  • chuanzhongdu1
  • 2016年05月11日 10:56
  • 6018

漫游kafka实战篇之搭建Kafka开发环境

上篇文章中我们搭建了kafka的服务器,并可以使用Kafka的命令行工具创建topci,发送和接收消息。下面我们来搭建kafka的开发环境。 大家开发环境需要引入kafka的jar包,一种方式是将Ka...
  • honglei915
  • honglei915
  • 2014年07月09日 18:38
  • 41831

Kafka入门经典教程

问题导读 1.Kafka独特设计在什么地方? 2.Kafka如何搭建及创建topic、发送消息、消费消息? 3.如何书写Kafka程序? 4.数据传输的事务定义有哪三种? 5.Kafka...
  • HMSIWTV
  • HMSIWTV
  • 2015年07月19日 23:36
  • 85525

kafka之七 sinkTask

kafka sinktask
  • lisi1129
  • lisi1129
  • 2017年01月26日 15:08
  • 519

kafka-connect遇到的问题

写在前面写博客时使用的版本 Confluent Platform v3.2.1。使用的话,大家看官方文档kafka-connect,下面有几个使用过程中遇到的问题:我的kafka里的数据是avro格式...
  • Mark__cao
  • Mark__cao
  • 2017年09月17日 22:25
  • 639

kafka connect+debezium(binlog),解析binlog至kafka

在已知kafka connect和debezium作用,会使用kafka的基础上,学会使用debezium来读取binlog,并通过kafka connect将读取的内容放入kafka topic中。...
  • nilin99
  • nilin99
  • 2017年10月13日 13:06
  • 836
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:kafka connector
举报原因:
原因补充:

(最多只允许输入30个字)