Q&A系列一：DataPipeline常见问题回答

不知不觉中，大家已经陪伴DataPipeline走过了3年时间。在这期间，得益于客户们的积极反馈和沟通，我们总结了一些日常工作中比较常见的问题，并基于这些问题进行了总结。

 

为避免突兀，我们会先从比较基础且通用的问题开始，进而陆续放出一些稍加复杂的问答，希望大家在接下来的日子里持续关注我们的更新~

 

Q1: DataPipeline支持的读取方式

 

A：DataPipeline在成立之初只有一种模式，只支持实时流同步，在我们看来这是未来的一种趋势。

 

但在后来发现，很多客户实际上有批量同步的需求。比如，银行在每天晚上可能会有一些月结、日结，证券公司也有类似的结算服务。基于一些历史原因，或出于对性能、数据库配置的考虑，可能有的数据库本身不能开change log。所以实际上并不是所有情况下都能从源端获取实时的流数据。

 

考虑到上述问题，我们认为一个产品在支撑数据融合过程中，必须能同时支撑批量和流式两种处理模式，且在产品里面出于性能和稳定性考虑提供不同的处理策略，这才是一个相对来说比较合理的基础架构。

 

详情参见：DataPipeline CTO陈肃：构建批流一体数据融合平台的一致性语义保证

 

Q2：目标端的连接方式是什么