JAVA：Kettle 强大的开源ETL工具

请关注微信公众号：拾荒的小海螺
博客地址：http://lsk-ww.cn/

1、简述

Kettle（Pentaho Data Integration）：强大的开源ETL工具Kettle，又称作Pentaho Data Integration，是一款流行的开源ETL（Extract, Transform, Load）工具，提供了丰富的功能和易用的界面，用于数据集成、转换和加载。是Pentaho项目的一个重要组成部分，旨在帮助用户处理各种数据集成任务。它提供了一个直观的GUI界面，可以通过拖放方式设计数据流程，支持连接多种数据源（包括关系型数据库、文件、Web服务等），并提供丰富的转换步骤和作业步骤，使用户能够轻松实现复杂的数据转换和处理逻辑。本文将介绍Kettle的优势及其在数据处理领域的应用。

Kettle源码下载地址：
https://github.com/pentaho/pentaho-kettle
Kettle Spoon软件下载地址：
https://sourceforge.net/projects/pentaho/files/Data%20Integration
Kettle帮助文档下载地址：
https://javadoc.pentaho.com

2、优势

以下是Kettle的一些突出优势：

• 灵活的数据流程设计
  Kettle提供了直观的GUI工具，用户可以通过简单的拖放操作设计数据流程。无需编写复杂的代码，即可创建包括数据提取、转换和加载等多个步骤的数据流程。

• 多种数据源支持
  Kettle支持连接多种数据源，包括关系型数据库（如MySQL、Oracle、SQL Server等）、文件（如CSV、Excel、XML等）、NoSQL数据库（如MongoDB、Cassandra等）、以及Web服务（如RESTful API），使得数据集成变得更加灵活和全面。

• 强大的转换步骤
  Kettle提供了丰富的转换步骤，包括数据清洗、字段映射、聚合、排序、过滤、行列转换等，涵盖了常见的数据处理需求。用户可以根据自己的需求，选择合适的步骤来构建数据转换逻辑。

• 支持作业调度
  除了数据转换，Kettle还支持作业（Job）的设计和调度。用户可以创建作业来组织和调度多个数据转换任务，实现复杂的数据集成流程和调度逻辑。

• Java、JavaScript脚本支持
  Kettle提供了强大的脚本支持，可以在转换或作业中使用Java或JavaScript脚本来实现自定义的数据处理逻辑。这使得Kettle具有更高的灵活性和扩展性。

• 易于部署和集成
  Kettle作为一个独立的ETL工具，可以轻松部署在各种平台上，并支持与其他Pentaho组件（如Pentaho BI平台）以及第三方系统集成，实现全面的数据管理和分析。

• 社区支持和活跃度高
  Kettle作为开源项目，拥有活跃的社区和广泛的用户群体。社区提供了丰富的文档、教程和技术支持，使得用户可以快速上手并解决在使用过程中遇到的问题。

3、样例

在Kettle（又称Pentaho Data Integration，PDI）中实现Java HTTP请求，在脚本的目录下拉取JAVA 代码 模块，然后在processRow实现执行HTTP请求的逻辑，打包你的Java类，并将其依赖jar包放置在Kettle的lib目录下，以下是实现步骤是以文件上传为例的示例代码：

import java.io.*;

public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException{

	Object[] r = getRow();
    if (r == null) {
        setOutputDone();
        return false;
    }
    if (first){
        first = false;
	
    }
	r= createOutputRow(r, data.outputRowMeta.size());
	//从定义的参数中获取指定值
	String projectId = get(Fields.In, "projectId").getString(r);
	//上传的URL
	String uploadUrl= get(Fields.In, "uploadUrl").getString(r);
	//附件下载的URL
	String downloadUrl= get(Fields.In, "downloadUrl").getString(r);
	String authorization= get(Fields.In, "token").getString(r);

	java.util.Map<String,String> params=new java.util.HashMap<String,String>();
	params.put("projectId",projectId);
	
    StringBuffer bf = uploadFile("file.",params,uploadUrl,"UTF-8",authorization,downloadUrl);
    String result=bf.toString();
    //输出结果集到定义的result参数中
    get(Fields.Out, "result").setValue(r, result);
    putRow(data.outputRowMeta, r);
    return false;
}
//上传文件到指定的服务器
public static StringBuffer uploadFile( String fileName, java.util.Map<String, String> dataMap, String uploadUrl,String encoding,String authorization,String downloadUrl) {
    //获取附件的bytes
    byte[] bytes = downloadFileToByte(downloadUrl); 
	StringBuffer buffer = new StringBuffer();
	org.apache.http.client.methods.HttpPost post = null;
	java.io.InputStreamReader is = null;
	java.io.BufferedReader reader = null;
	org.apache.http.HttpResponse response = null;
	// 创建 MultipartEntityBuilder,以此来构建我们的参数
	org.apache.http.entity.mime.MultipartEntityBuilder builder = org.apache.http.entity.mime.MultipartEntityBuilder
			.create();
	// 加上此行代码解决返回中文乱码问题
    builder.setMode(org.apache.http.entity.mime.HttpMultipartMode.RFC6532);
	org.apache.http.impl.client.CloseableHttpClient client = org.apache.http.impl.client.HttpClients.createDefault();
	java.io.InputStream ins = null;
	try {
		post = new org.apache.http.client.methods.HttpPost(uploadUrl);
           org.apache.http.entity.ContentType contentType = org.apache.http.entity.ContentType.create(org.apache.http.entity.ContentType.TEXT_PLAIN.getMimeType(), java.nio.charset.StandardCharsets.UTF_8);

		if (bytes != null) {
			builder.addBinaryBody("file",new java.io.ByteArrayInputStream(bytes), org.apache.http.entity.ContentType.APPLICATION_OCTET_STREAM,fileName +".xlsx");// 文件流
		} else {
			return (new StringBuffer("文件流为空"));
		}

		if (dataMap != null && !dataMap.isEmpty()) {
			 for (java.util.Map.Entry<String, String> entry : dataMap.entrySet()) {
				 builder.addTextBody((String)entry.getKey(), (String)entry.getValue(),contentType);
			 }
		}

		post.setHeader("Authorization",authorization);
		post.setEntity(builder.build());
		response = client.execute(post);
		org.apache.http.HttpEntity entity = response.getEntity();
		is = new java.io.InputStreamReader(entity.getContent(), encoding);
		reader = new java.io.BufferedReader(is);
		String tmp = reader.readLine();
		while (tmp != null) {
			buffer.append(tmp);
			tmp = reader.readLine();
		}
		ins = entity.getContent();
	} catch (java.io.IOException ex) {
		throw new RuntimeException(ex);
	} finally {
		if (ins != null) {
			try {
				ins.close();
				ins = null;
			} catch (java.io.IOException ex) {
			}
		}
		if (reader != null)
			try {
				reader.close();
			} catch (java.io.IOException e1) {
			}
		if (is != null)
			try {
				is.close();
			} catch (java.io.IOException e1) {

			}
		if (post != null) {
			post.releaseConnection();
		}
		if (client != null) {
			try {
				client.close();
			} catch (java.io.IOException ex) {
			}
		}
	}
	return buffer;
}

//下载文件转换成byte
public static byte[] downloadFileToByte(String downloadUrl) {
    org.apache.http.client.methods.HttpPost post = null;
    org.apache.http.HttpResponse response = null;
    org.apache.http.entity.mime.MultipartEntityBuilder builder = org.apache.http.entity.mime.MultipartEntityBuilder
            .create();
    try {
        post = new org.apache.http.client.methods.HttpPost(downloadUrl);
        builder.addTextBody("isSkip", "true");
        post.setEntity(builder.build());
        org.apache.http.impl.client.CloseableHttpClient client = org.apache.http.impl.client.HttpClients.createDefault();
        response = client.execute(post);
        org.apache.http.HttpEntity entity22 = response.getEntity();
        byte[] bytes = org.apache.http.util.EntityUtils.toByteArray(entity22);
        return bytes;
    }catch (Exception e){

    }
    return null;
}

4、应用场景

Kettle的灵活性和强大功能使其在各种数据处理和集成场景中得到广泛应用，包括但不限于：

• 数据仓库（Data Warehouse）的构建和维护
• 数据清洗和数据质量管理
• 数据迁移和同步
• ETL流程的自动化和调度
• 数据分析和报表生成
• 实时数据集成和流式处理

5、结语

总之，Kettle作为一款开源的ETL工具，具有灵活的数据流程设计、多种数据源支持、强大的转换步骤、作业调度功能、脚本支持以及易于部署和集成等诸多优势。它为用户提供了一种简单而强大的方式来处理和管理数据，是数据工程师、数据分析师和ETL开发人员的理想选择。如果你正在寻找一款成熟稳定且功能丰富的数据集成工具，不妨考虑使用Kettle来实现你的数据处理需求。