下秒数据CEO蔡致暖：云原生时代数据管道的迭代之路

在如今数据被称为新经济时代的石油的大背景下，数据管道是什么？处于什么位置？其技术和演进趋势又是怎么样的？

2022年7月12日，在CSDN云原生系列在线峰会第13期“现代数据栈峰会”上，针对这些连续发问，下秒数据CEO蔡致暖对数据管道1.0至3.0的迭代过程及技术特点进行了详细介绍。

数据管道和ETL

数据管道是一种重要的数据基础设施，ETL管道是最常用的数据管道。

数据基础设施是底座，数据管道作为数据库及数据仓库的最佳拍档，也是一种重要的数据基础设施。

在了解数据管道具体是什么之前，首先要了解什么是ETL管道。ETL管道是从其源系统/数据库中提取数据，对数据进行转换，然后将其加载到数据仓库或数据库中，从中获取业务见解。

数据管道包含ETL管道，因为对于数据管道来说，数据的目的地不一定是数据库或数据仓库，也可以是其他的应用程序，并且支持整个组织的数据编排、管理和使用。

数据管道中的步骤通常包括提取、转换、组合、验证、可视化以及其他此类数据分析过程。如果没有数据管道，这些过程需要大量耗时而繁琐的手动步骤，并给人为错误留下空间。数据管道的最佳类比是传送带，它能高效、准确地将数据传送到流程的每一步。例如，数据管道可帮助数据从SaaS应用高效地流向数据仓库等。

为什么说数据管道是重要的数据基础设施？

现如今企业数据孤岛变得普遍，各类SaaS应用的使