数据接入平台(DIP)系列文章之一|功能及架构浅析

导语

腾讯云消息队列CKafka推出数据接入平台（Data Import Platform），旨在构建数据源和数据处理系统间的桥梁。

为了让开发者们更加深入的了解数据接入平台（DIP），腾讯云消息队列团队将组织系列文章，为大家详解数据接入平台（DIP）的功能及架构。

作者简介

许文强  

腾讯高级工程师

Apache Kafka Contributor，腾讯云Kafka和数据接入平台DIP研发负责人。专注于中间件领域的系统设计和开发，在消息队列领域具有丰富的经验。

数据实时接入和分析面临的挑战

随着大数据时代的到来，企业在生产和经营活动中产生的各类数据正以前所未有的速度增长，通过对实时及历史数据的融合分析，及时挖掘业务洞察和辅助决策，已成为企业的普遍行动。

有一种观点认为大数据存在“3V”特性：Volume, Velocity, Variety。这三个“V”表明大数据的三方面特征：量大，实时和多样。这三个主要特征对数据链路系统的影响尤为突出。多种多样的数据源，海量的数据以及实时高效的采集传输是数据链路系统主要面对的几个问题。即系统需要在满足实时性指标的同时，也具备生产环境下的高可用性和易用性。

下图是一个非常经典的数据链路的架构图。从左到右，依次是数据源、数据接入层、数据缓冲层、数据分发层、数据目标，可以看出，搭建一个完整的数据链路非常复杂繁琐。

在云原生的浪潮下，企业需要聚焦业务，迫切需要简单易行，零代码地配置搭建起自己的数据链路系统。因此数据链路系统需要如下几个特征：SAAS化、低代码化、简单易用、稳定可靠、高性能、按量付费，以达到整体上的降本增效。

基于上述诉求，我们推出了数据接入平台（Data Import Platform）。

关于数据接入平台

数据接入平台定义

腾讯云消息队列CKafka推出的数据接入平台（Data Import Platform），是腾讯云上SAAS化的数据接入和处理平台，协助客户方便快捷地完成一站式的数据接入、处理和分发。平台提供基于 HTTP/TCP 协议的 SDK 协助客户快速完成数据上报、基于 CDC（Change Data Capture）机制快速订阅、存储多款数据库（MySQL、PostgreSQL、MongoDB 等）变更信息，打通了多款云产品的日志投递。并提供了简单可配置的数据清洗 (ETL) 能力，以及丰富的数据流出渠道，协助客户低成本搭建数据流转链路，构建数据源和数据处理系统间的桥梁。

DIP类似于传统大数据解决方案中Kafka+Flink的角色，提供了通用的数据连接、处理、流转的功能。核心诉求是希望可以协助客户低成本的搭建整条的数据链路。根据二八原则，DIP希望解决大部分通用的数据连接场景。而对于业务属性强，逻辑复杂的还是需要依赖Flink等流式计算引擎来实现。

在离线计算场景，DIP提供了一个缓冲队列的作用，同时由于DIP提供了各种MQ与其他腾讯云上下游产品的对接功能，所以又扮演了数据分发枢纽的角色。

DIP和Kafka的关系

DIP是由腾讯云上CKafka孵化出的数据接入产品，底层基于开源Kafka Connector和自研接入分发层。从本质上来看，Kafka是消息队列，属于存储产品。而DIP是数据接入分发平台，定位为存储层（MQ）的上下游数据连接。

DIP与Kafka的区别

IP旨在围绕消息队列（MQ）生态，做好上下游的数据连接。消息队列属于PAAS产品，DIP定位为SAAS产品，提供一站式的数据链路搭建方案。DIP希望达到低代码、免运维、按量付费、Serverless化的效果，后续会支持多种消息队列协议接入。

DIP优势

01

易用性