【Kettle】Etl工具之Kettle与java集成二

1.上篇文章已经讲到,怎么新建一个转换,当然,那只是很简单的操作,下面我们将学习怎么将在kettle新建的转换或任务,放入到程序中,由程序调用执行

首先,我们需要将kettle的jar包放入到程序的lib目录下,当然不只kettle包,还有其他一些重要的包,可以直接到http://download.csdn.net/download/xiaosemei/9967136进行下载,

2.新建项目kettle ,我这里用来演示,

3.kettle初始化代码(我这里执行和初始是分开的。。方便在次执行的时候不需要初始化)

 

import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.database.DatabaseMeta;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.repository.RepositoryDirectoryInterface;
import org.pentaho.di.repository.kdr.KettleDatabaseRepository;
import org.pentaho.di.repository.kdr.KettleDatabaseRepositoryMeta;

/**
 * Created by 31767 on 2017/8/16.
 */
public class KettleEnvironments {
    public  static KettleDatabaseRepository repository;
    public  static DatabaseMeta databaseMeta;
    public  static KettleDatabaseRepositoryMeta kettleDatabaseMeta;
    public  static RepositoryDirectoryInterface directory;
    /*
    * KETTLE初始化*/
    public static  String  KettleEnvironments() {
         try {
            KettleEnvironment.init();repository = new KettleDatabaseRepository();
         databaseMeta = new DatabaseMeta("ETL", "Oracle", "Native", "172.14.5.6","cdr", "1521",
                "ETL", "xin");//资源库数据库地址,我这里采用oracle数据库
         kettleDatabaseMeta = new KettleDatabaseRepositoryMeta("ETL", "ERP",
                "Transformation description", databaseMeta);
        repository.init(kettleDatabaseMeta);
        repository.connect("adm", "adm");//资源库用户名和密码
        directory = repository.loadRepositoryDirectoryTree();
        } catch (KettleException e) {
            e.printStackTrace();
            return  e.getMessage();
        }
        return null;
      }

}

4.kettle执行代码

 

 

/**
 * Created by DEH on 2017/7/3.
 */

import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.job.Job;
import org.pentaho.di.job.JobMeta;
import org.pentaho.di.repository.Repository;
import org.pentaho.di.repository.RepositoryDirectoryInterface;
import org.pentaho.di.repository.kdr.KettleDatabaseRepository;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;

public class ExecRepository {
 
/*测试代码,*/
      public static void main(String[] args) {
         KettleEnvironments.KettleEnvironments();
        String transName=null;//转换或作业名称
        String[] params=null;//参数
        try {
            String result = ExecuteDataBaseRepTran(KettleEnvironments.repository, transName, params, null);
        } catch (KettleException e) {
            e.printStackTrace();
        }
    }



    /*执行转换文件*/
    private static String ExecuteDataBaseRepTran(KettleDatabaseRepository repository, String transName, String param[], String jgname) throws KettleException {
        //根据变量查找到模型所在的目录对象,此步骤很重要。
        RepositoryDirectoryInterface directory = repository.findDirectory("/");
        //创建ktr元对象
        TransMeta transformationMeta = ((Repository) repository).loadTransformation(transName, directory, null, true, null);
        //创建ktr
        Trans trans = new Trans(transformationMeta);
        //执行ktr
        trans.execute(param);
        //等待执行完毕
        trans.waitUntilFinished();
        if (trans.getErrors() > 0) {
            return "NO";
        } else {
            return "OK";
        }
    }

    private static String execRepositoryJobs(KettleDatabaseRepository repository, RepositoryDirectoryInterface directory, String jobName, String jhid) throws KettleException {
        JobMeta jobMeta = ((Repository) repository).loadJob(jobName, directory, null, null);
        Job job = new Job(repository, jobMeta);
        job.setVariable("id", jhid);
        job.start();
        job.waitUntilFinished();
        if (job.getErrors() > 0) {
            return "NO";
        } else {
            return "OK";
        }
    }

}


至此,kettle与java集成完成

 

 

 

 

 

 

 

  • 2
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
Kettle(也称为Pentaho Data Integration)是一种开源的ETL(Extract, Transform, Load)工具,它提供了一套强大的数据集成解决方案。Kettle允许用户通过可视化界面来定义数据处理流程,从而实现从不同数据源中提取、转换和加载数据的操作。 Kettle具有以下特点和功能: - 可视化开发环境:Kettle提供了一个图形化的界面,用户可以通过拖放操作来定义ETL任务和转换步骤,无需编写复杂的代码。 - 多种数据源和目标支持:Kettle支持多种数据源和目标,包括关系型数据库、非关系型数据库、文件系统、云存储等。 - 数据转换和清洗:Kettle提供了各种转换和清洗功能,可以对数据进行格式转换、字段映射、数据过滤、去重等操作。 - 数据质量管理:Kettle提供了数据质量组件,可以帮助用户检测和修复数据质量问题,如重复数据、缺失值等。 - 调度和监控:Kettle支持作业调度和监控,可以自动执行ETL任务,并提供实时任务状态和错误处理。 - 扩展性:Kettle是一个可扩展的工具,用户可以根据自己的需求编写自定义插件和扩展。 总体而言,Kettle是一个功能强大且灵活的ETL工具,它提供了丰富的功能和易于使用的界面,可以帮助用户实现高效、可靠的数据集成和处理。作为开源工具Kettle还拥有一个活跃的社区,用户可以共享和获取各种扩展和解决方案。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天空~华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值