滴滴数据通道服务演进之路

桔妹导读：滴滴数据通道引擎承载着全公司的数据同步，为下游实时和离线场景提供了必不可少的源数据。随着任务量的不断增加，数据通道的整体架构也随之发生改变。本文介绍了滴滴数据通道的发展历程，遇到的问题以及今后的规划。

1. 

背景

数据，对于任何一家互联网公司来说都是非常重要的资产，公司的大数据部门致力于解决如何更好的使用数据，挖掘数据价值，而数据通道服务作为“大数据”的前置链路，一直以来都在默默的为公司提供及时，完整的数据服务，这里我们对滴滴数据通道的演进做一个全面的介绍。

2. 

数据通道简介

数据通道服务，顾名思义，是数据的通路，负责将数据从A同步到B的一套解决方案。

异构数据的同步是公司很多业务的普遍需求，通道服务也就成为了一项基础服务。包括但不限于日志，Binlog同步到下游各类存储和引擎中，如HIVE，ES，HBase等，用于报表，运营等场景。

数据通道方案本身涉及的组件很多，链路也比较复杂，这里通过一个简化的有向图来介绍下通道的核心流程。

有向图的顶点表示存储，包括磁盘，消息队列以及各种存储服务，边和方向表示数据流量，而数据流动的动力则是边上的各个同步引擎。

仅从图中的链路可以看出，基础组件包括以下几种：

组件名称	组件说明
容器	业务方运行的容器是数据产生的地方，是异构数据的原始数据，包括业务日志和Binlog等。
Agent	Agent负责数据采集，常见的远端数据包括普通日志和Binlog，Agent负责将这类数据采集后发送到消息队列中，通过读取文件，并记录offset的方式，保