今天我们打断一下ELK工具的使用讲解过程,来说说ETL工具kettle。首先我们要了解一下什么是ETL工具:
ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。
把数据从源取出,通过处理后放到标准的数据库中,你可以初略的这么去认为,这对于需要大量操作数据表格的人来说是有福了额(集团对账,片区分销体系汇总,无数的Excel),你可以在保证在数据格式安全合法的情况下UI试的吧元数据规规矩矩的导入到你的表里面,然后在进行相关的操作。ETL工具有很多,相关信息大家可以参考这篇文章:http://blog.csdn.net/hfxl1108/article/details/8564941 。而我今天要说的就是其中一款开源开源工具:kettle 下载地址:http://kettle.pentaho.com/
kettle ,是一款很好用的开源工具。期精准的UI操作非常的省事。我今天要说的是Windows版本,当然Windows版本和LIunx的操作是一样的。首先我们去下载好kettle,然后解压至指定目录。进入目录运行spoon.bat
出现UI界面:
最终界面:
你可以选择新建一个准换,然后在左侧的组件界面选择组件,拉去到右侧的空白面板上,我们今天一一个Excel数据到数据库为例子:需要选取三个组件,分别是:获取文件名、Excel输入、表输出
选取完成以后是这个样子的:
我们需要按照先后顺序对其进行连接:按住shift然后连接:
好了,现在开始我们的UI操作,
第一步:双击获取文件名
完成以后的设置应该是这个样子的:
至此第一步完成
第二步:双击Excel输入
1、编辑文件面板:
完成后的文件面板:
2、编辑工作表面板:这里需要注意的是,你要明确你的表头在在第几行第几列(从0开始)不然后面获取字段的时候会出现问题。
完成后的面板:
3、编辑字段面板:
至此Excel输入完成。
第三步:双击表输出
1、新建一个数据库练级:
2、选择目标表
3、获取数据字段:
4、映射字段:
打完收工。
第四步:获取文件名
第五步:运行
到这里就全部完成了,来看看数据是否进入了数据库:
数据已存在!
好了,你可以进行你操作了,还有很多很多的好用的功能没有介绍,自己去看看吧,很好玩的。