kettle案例6.1–数据转换—多数据源的合并
数据转换是数据清洗过程的重要步骤之一,它的主要任务是进行不一致的数据转换、数据粒度的转换、以及一些商务规则的计算。
随着信息技术的发展和科技的进步,人类步入了大数据时代,大数据作为当前高科技时代的产物,它的种类多而繁杂。如果想要得到需要的数据,则这些需要的数据有可能来源于多个不同的数据源中,此时,我们可以将多个数据源进行合并操作,从而获取到所需要的数据
案例介绍
通过Kettle工具将A公司和B公司的手机日销售数据合并到一个数据源(数据表company)中,也就是对文件company_a.csv和数据表company_b中的数据进行合并操作,并输出到数据表company中
数据准备
假设,某公司旗下有两个子公司,分别为A公司和B公司,且这两个子公司均在销售手机,其中A公司的手机日销售情况存储在CSV文件中,即文件company_a.csv;B公司的手机日销售情况存储在数据库的数据表中,即数据表company_b,具体内容如下图所示