嘉宾 | 蔡致暖 整理 | 嘉娃
出品 | CSDN云原生
在如今数据被称为新经济时代的石油的大背景下,数据管道是什么?处于什么位置?其技术和演进趋势又是怎么样的?
2022年7月12日,在CSDN云原生系列在线峰会第13期“现代数据栈峰会”上,针对这些连续发问,下秒数据CEO蔡致暖对数据管道1.0至3.0的迭代过程及技术特点进行了详细介绍。
数据管道和ETL
数据管道是一种重要的数据基础设施,ETL管道是最常用的数据管道。
数据基础设施是底座,数据管道作为数据库及数据仓库的最佳拍档,也是一种重要的数据基础设施。
在了解数据管道具体是什么之前,首先要了解什么是ETL管道。ETL管道是从其源系统/数据库中提取数据,对数据进行转换,然后将其加载到数据仓库或数据库中,从中获取业务见解。
数据管道包含ETL管道,因为对于数据管道来说,数