社工库数据格式化之Kettle Spoon

前言

现在的数据库种类越来越多，数据库备份的格式也越来越复杂，所以数据格式化一直是一个老生常谈的问题。据库备份文件格式那么多，既有SQL的，也有BAK的，还有TXT的等。数据库种类也有很多，MySQL，Oracle，SQL server等，怎么对这些数据库进行管理？昨天泄露access格式的数据库，今天泄露了excel格式的数据库，明天又泄露了SQL格式的数据库。要格式化那么多种类的数据库，压力山大啊！搭建个本地的社工库怎么那么复杂？

这里就要说到kettle。首先得说说Pentaho这个企业。Pentaho主要致力于大数据的分析，整理和管理，并且这家公司开发出来的工具是开源的！没错，就是开源的。任何人都可以查看这个项目的源代码，并且对其进行更改和研究。这家公司开发了很多管理工具或者框架，最为出名的就是kettle了。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。ELT的全称为Extraction, Transformation Loading，其中文解释为提取，转换和加载。Kettle这个工具里面有SPOON，PAN，CHEF，Encr和KITCHEN这么五个基本组建。

SPOON 允许你通过图形界面来设计ETL转换过程（Transformation）。

PAN 允许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序，没有图形界面。

CHEF 允许你创建任务（Job）。 任务通过允许每个转换，任务，脚本等等，更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换，任务，脚本等等。任务将会被检查，看看是否正确地运行了。

KITCHEN 允许你批量使用由Chef设计的任务 (例如使用一个时间调度器)。KITCHEN也是一个后台运行的程序。

Encr 此脚本是用来加密连接数据库密码与集群时使用的密码

今天我们主要讲的是SPOON，这里会做一个基础的讲解，以便达到抛砖引玉的作用。

1.基本安装

由于Kettle是由JAVA代码所编写的，所以大家要运行Kettle首先是下载安装JDK并且设置好环境变量。Kettle的下载地址是“传送门”。

下载完成后，你会得到一个RAR压缩包，请对压缩包进行解压。

解压完成后在文件更目录内，你可以看到几个bat文件和sh文件，这里就是kettle工具的打开的方式。

 

这里做个常识普及。

windows系统的用户请用bat文件打开kettle

linux系统的用户请用sh文件打开kettle

这里主要说的是kettle spoon的一个基本讲解。运行spoon.bat或者spoon.sh后等待几秒钟就可以看到kettle spoon的基本界面了。