数据集成

什么是数据集成

数据集成就是将不同的数据源存放到同一个数据储存中（如数据仓库），从而方便后续的数据挖掘工作。比如我们有多个数据源，有文本文件，Excel文件，mysql数据表，为了方便数据的统计分析，我们需要把他们存放到同一个容器中，可以是数据库也可以是文本文件，这样一个过程我们就叫数据集成。

数据集成的其中一种架构:ETL：

ETL是英文Extract、Transform和Load的缩写，顾名思义它包括了数据抽取、转换、加载三个过程。ETL可以说是进行数据挖掘这项工作前的“备菜”过程。
抽取是将数据从已有的数据源中提取出来。
转换是对原始数据进行处理，变成目标数据格式的过程。
加载是将转换的结果写入目的地。

ETL的工具有哪些：

典型的商业软件：
Informatica PowerCenter、IBM InfoSphere DataStage、Oracle Data Integrator、Microsoft SQL Server Integration Services 等
开源软件：
Kettle、DataX、Sqoop等
其中Kettle是一个易于使用的，低成本的解决方案。国内很多公司都在使用Kettle用来做数据集成。

Kettle介绍

Kettle中文名称叫水壶，该项目的目标是将各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle下载地址：
https://sourceforge.net/projects/pentaho/files/latest/download?aliId=137249511
在使用Kettle之前还需要安装数据库软件和Java运行环境（JRE），注意配置系统JAVA_HOME环境变量。
另外如果用的是MySQL,导入数据时会报Driver class ‘org.gjt.mm.mysql.Driver’ could not be found, make sure the ‘MySQL’ driver (jar file) is installed. org.gjt.mm.mysql.Driver错误。此时需要到https://dev.mysql.com/downloads/file/?id=468318%20下载后，解压出mysql-connector-java-5.1.41-bin.jar 包，放到pdi-ce-8.2.0.0-342\data-integration\lib目录即可。
都下载完成后，打开文件夹下的Spoon.bat就可以开启软件开始进行操作。