ETL是什么今天在这里就不做特别说明了,因为如果你要是不明白ETL的话,还是先了解一下ETL是什么,能干什么,在那些实际的业务场景可用,最好能先了解一下,今天我们来说说为什么一定要用ETL。因为现在很多时候我们汇报都需要报表,无论是二维表EXCEL亦或是可视化报表,都需要有数据,不然我们用什么做报表汇报呢,但是当前我们不得不面对的问题是什么呢,经过多年的发展,我们往往建立了跟多个系统,很多系统都有自己核心业务的数据,而我们汇报的时候,往往需要将这些个系统的数据进行融合后进行整理汇报,以往手工我们是导出excel然后通过公式合并,在进行数据汇总做报告。数据融合的这个过程,我们会通过ETL来替我们完成,我们明白了ETL能干什么,接下来我们就进入正题,说说行业开源项目Kettle。
Kettle会按照下面的顺序进行讲解
- 数据抽取
- 清洗和校验
- 处理维度表
- 调度和监控
- 并行,集群和分区