ETL数据交换入门kettle

最新推荐文章于 2024-08-22 08:38:52 发布
最新推荐文章于 2024-08-22 08:38:52 发布
阅读量1.3k 收藏 5
点赞数
分类专栏： 开发中间件 文章标签： etl 数据仓库 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42709715/article/details/121120821
版权

文章目录

关于ETL的流程熟悉以及自己的见解

一些概念

ETL

ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程.(数据仓 说法就是从数据源抽取数据出来,进行清洗加工转换,然后加载到定义好的。

在这里插入图片描述

kettle

Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

  • Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
  • Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
  • Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制（也就是说先转换数据，再做工作流）

在这里插入图片描述

解读：如图，可以看到，transformation中进行了发送、读写的步骤转换；job关联transformation基础转换，在进行一系列的工作流操作，比如Ftp获取相关文件、执行SQL转换信息等

Kettle编写抽取数据

下面的讲解没有图形化kettle的，相对应的是底层代码的剖析。因为基于公司的业务没有用到图形化，有兴趣的小伙伴可以转向相关学习网址：https://cloud.tencent.com/developer/article/1585297

（打开项目）

引用jar

这是我的pom文件，根据不同需求进行微调修改

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.5.3</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.example</groupId>
    <artifactId>demo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>demo</name>
    <description>Demo project for Spring Boot</description>
    <properties>
        <java.version>1.8</java.version>
        <kettle.version>5.1.0.0-752</kettle.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>

        <!-- 引入jdbc支持 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>
        <!-- 引入web支持 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <!-- 引入devtools支持 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>

        <!--kettle的支持：这里的core和engine版本最好一致-->
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-core</artifactId>
            <version>${kettle.version}</version>
        </dependency>
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-engine</artifactId>
            <version>${kettle.version}</version>
        </dependency>

        <!--mysql支持-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.44</version>
        </dependency>

        <!--lombok支持：简洁开发-->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <!--各种基础工具包-->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.8</version>
        </dependency>
        <dependency>
            <groupId>commons-vfs</groupId>
            <artifactId>commons-vfs</artifactId>
            <version>20100924-pentaho</version>
        </dependency>
        <dependency>
            <groupId>commons-logging</groupId>
            <artifactId>commons-logging</artifactId>
            <version>1.2</version>
        </dependency>
        <dependency>
            <groupId>com.googlecode.json-simple</groupId>
            <artifactId>json-simple</artifactId>
            <version>1.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <excludes>
                        <exclude>
                            <groupId>org.projectlombok</groupId>
                            <artifactId>lombok</artifactId>
                        </exclude>
                    </excludes>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>
库表文件

找一个可以测试的mysql库，建立以下的表文件，并在源表插入若干测试数据

Create database test;

-- 创建源表
CREATE TABLE `etl_src_table` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) DEFAULT NULL,
  `age` int(3) DEFAULT NULL,
  `mail` varchar(40) DEFAULT NULL,
  `phone` varchar(20) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8;
 
-- 创建目标表
CREATE TABLE `etl_dest_table` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) DEFAULT NULL,
  `age` int(3) DEFAULT NULL,
  `mail` varchar(40) DEFAULT NULL,
  `phone` varchar(20) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
数据库连接类

此类封装了数据库连接信息

/**
 * @author qijian
 * @description 数据库类
 * @date 2021/8/17 - 10:20
 */
@Data
public class DatabaseConn {
    /** 数据库服务器IP地址 */
    private String server;

    /** 数据库类型 */
    private String type;

    /** 访问类型（Native,ODBC,JNDI） */
    private String access = "Native";

    /** 数据库名称 */
    private String database;

    /** 连接端口 */
    private String port;

    /** 连接用户名 */
    private String username;

    /** 连接密码 */
    private String password;

}
表信息封装类

此类封装了转换需要的源表、目标表的一些基础信息

/**
 * @author qijian
 * @description 表信息封装类
 * @date 2021/8/17 - 10:21
 */
@Data
public class ExtractBean {
    /**
     * 源表数据库连接
     */
    private DatabaseConn srcDB;

    /**
     * 源表表名
     */
    private String[] srcTable = new String[0];

    /**
     * 源表交换字段类型
     */
    private String[] srcFields;

    /**
     * 源表主键
     */
    private String[] srcPk;

    /**
     * 目标表的数据库配置
     */
    private DatabaseConn destDB;

    /**
     * 目标表
     */
    private String destTable;

    /**
     * 目标表字段
     */
    private String[] destFields;

    /**
     * 目标表主键
     */
    private String[] destPk;

    /**
     * 数据转换
     */
    private FieldTransfer[] fieldTransfers;
}
利用kettle进行转换测试

前面做好了jar包、相关辅助类的铺垫，现在正式写demo测试代码。

我们建一个测试Test类

在这里插入图片描述

初始化

使用kettle必须先要初始化，这里初始化并进行测试数据封装

public ExtractBean before() {
        try {
            //1、初始化Kettle环境
            KettleEnvironment.init();
            EnvUtil.environmentInit();
        } catch (KettleException e) {
            e.printStackTrace();
        }

        // 初始化数据源表和目标表数据
        // 1）初始化数据源表
        ExtractBean extractBean = new ExtractBean();
        DatabaseConn srcDB = new DatabaseConn();
        srcDB.setDatabase("test");
        srcDB.setServer("192.168.10.64");
        srcDB.setPort("3306");
        srcDB.setUsername("root");
        srcDB.setPassword("root");
        srcDB.setType("MySQL");
        extractBean.setSrcDB(srcDB);
        extractBean
                .setSrcFields(new String[] { "name", "age", "mail", "phone" });
        extractBean.setSrcPk(new String[] { "id" });
        extractBean.setSrcTable(new String[] { "etl_src_table" });

        // 2）初始化目标表
        DatabaseConn destDB = new DatabaseConn();
        destDB.setDatabase("test");
        destDB.setServer("192.168.10.64");
        destDB.setPort("3306");
        destDB.setUsername("root");
        destDB.setPassword("root");
        destDB.setType("MySQL");
        extractBean.setDestDB(destDB);
        extractBean
                .setDestFields(new String[] { "name", "age", "mail", "phone" });
        extractBean.setDestPk(new String[] { "id" });
        extractBean.setDestTable("etl_dest_table");

        return extractBean;
    }
定义数据库连接

这里有两种方式：xml传参和构造传参

		//2、定义数据库信息：此处有两种方法，一种是使用XML，一种构造方法传参
        final String srcDBName = "srcDB";

        //1）xml方式
        //数据库连接信息,适用于DatabaseMeta其中 一个构造器DatabaseMeta(String xml)
//        String databasesXML =
//                "<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +
//                        "<connection>" +
//                        "<name>{0}</name>" +
//                        "<server>{1}</server>" +
//                        "<type>{2}</type>" +
//                        "<access>{3}</access>" +
//                        "<database>{4}</database>" +
//                        "<port>{5}</port>" +
//                        "<username>{6}</username>" +
//                        "<password>{7}</password>" +
//                        "<attributes>" +
//                        "<attribute>" +
//                        "<code>CUSTOM_DRIVER_CLASS</code>"+
//                        "<attribute>dm.jdbc.driver.DmDriver</attribute>" +
//                        "</attribute>"+
//                        "<attribute>" +
//                        "<code>CUSTOM_URL</code>"+
//                        "<attribute>jdbc:dm://localhost:5236/SYSDBA</attribute>" +
//                        "</attribute>"+
//                        "</attributes>"+
//                        "</connection>";
//
//        String xml = MessageFormat.format(databasesXML, new Object[] {
//        		srcDBName,
//        		srcDB.getServer(),
//        		"Generic database",
//        		"Native",
//        		srcDB.getDatabase(),
//       		    srcDB.getPort(),
//        		srcDB.getUsername(),
//        		srcDB.getPassword()
//        });
//		DatabaseMeta dbMeta = new DatabaseMeta(xml);

        //2）构造方法传参
        DatabaseMeta dbMeta = new DatabaseMeta(srcDBName, srcDB.getType(),
                srcDB.getAccess(), srcDB.getServer(), srcDB.getDatabase(),
                srcDB.getPort(), srcDB.getUsername(), srcDB.getPassword());

        //其他数据库可以跳过，为了防止数据库字段查询出来乱码问题
        dbMeta.setConnectSQL(MessageFormat.format("set names ''{0}'';",
                new Object[] { "utf8" }));

        transMeta.addDatabase(dbMeta);
生成表输入
		//registry是给每个步骤生成一个标识Id用
        PluginRegistry registry = PluginRegistry.getInstance();
        //3、生成表输入TableInputMeta
        TableInputMeta tableInputMeta = new TableInputMeta();
        String tableInputPluginId = registry.getPluginId(StepPluginType.class,
                tableInputMeta);
        //给表输入添加一个DatabaseMeta连接数据库
        tableInputMeta.setDatabaseMeta(transMeta.findDatabase(srcDBName));
设置sql查询
		//4、构造查询SQL
        String selectSql = "select {0} from {1}";
        selectSql = MessageFormat.format(
                selectSql,
                new Object[] {
                        StringUtils.join(extractBean.getSrcFields(), ","),
                        extractBean.getSrcTable()[0] });

        tableInputMeta.setSQL(selectSql);
        // 打印查询SQL
        System.out.println(selectSql);

        //将TableInputMeta添加到转换中
        //只有将操作添加到步骤中才可以，这样才能形成一个流程
        StepMeta tableInputStepMeta = new StepMeta(tableInputPluginId,
                "tableInput", (StepMetaInterface) tableInputMeta);
        transMeta.addStep(tableInputStepMeta);
获取目标库信息
		//5、获取目标库信息
        DatabaseConn destDB = extractBean.getDestDB();
        final String destDBName = "destDB";
        DatabaseMeta destDbMeta = new DatabaseMeta(destDBName, destDB.getType(),
                destDB.getAccess(), destDB.getServer(), destDB.getDatabase(),
                destDB.getPort(), destDB.getUsername(), destDB.getPassword());

        //输出到表中
        TableOutputMeta tableOutputMeta = new TableOutputMeta();
        tableOutputMeta.setDatabaseMeta(destDbMeta);

        //设置目标表的 schema和表名
        tableOutputMeta.setSchemaName(null);
        tableOutputMeta.setTablename(extractBean.getDestTable());

        //指定目标表数据库字段
        tableOutputMeta.setSpecifyFields(true);

        /**
         * 在此处如果是oracle中含有大字段的有一个问题：
         * ORA-24816: 在实际的 LONG 或 LOB 列之后提供了扩展的非 LONG 绑定数据
         解决方法：在实际的 LONG 或 LOB 列之后提供了扩展的非 LONG 绑定数据错误，
         这个错误是因为在绑定参数时把数据库中字段类型为LONG的字段放置在其他字段前设置了，
         只要将类型为Lob的字段绑定参数时放在最后设置即可解决。

         即设置  destFields为：  long ,clob,blob这样的顺序，long类型等不能放在clob后面
         */
        tableOutputMeta.setFieldStream(extractBean.getDestFields());
        tableOutputMeta.setFieldDatabase(extractBean.getDestFields());

        String tableOutputPluginId = registry.getPluginId(StepPluginType.class, tableOutputMeta);
        StepMeta tableOutputStep = new StepMeta(tableOutputPluginId, "tableOutput" , (StepMetaInterface) tableOutputMeta);

        //将步骤添加进去
        transMeta.addStep(tableOutputStep);
关联input和output步骤
 		//6、将步骤和上一步关联起来
 		transMeta.addTransHop(new TransHopMeta(tableInputStepMeta, tableOutputStep));
添加监听
 		//7、设置执行参数，添加监听
        Trans trans = new Trans(transMeta);
        trans.setMonitored(true);
        trans.setInitializing(true);
        trans.setPreparing(true);
        trans.setLogLevel(LogLevel.BASIC);
        trans.setRunning(true);
        trans.setSafeModeEnabled(true);
        trans.addTransListener(new TransAdapter() {
            @Override
            public void transFinished(Trans trans) {
                System.out.println("转换执行完成");
            }
        });
执行抽取
        //8、执行抽取
        try {
            // trans.startThreads();
            trans.execute(null);
        } catch (KettleException e) {
            e.printStackTrace();
        }
        trans.waitUntilFinished();
        if (trans.getErrors() > 0) {
            System.out.println("抽取数据出错.");
            return;
        }

        System.out.println("抽取加载数据完成");
控制台输出

当你的控制台输出，是以下类似的输出数据，就说明转换成功，代码跑的没问题。之后再去目标表看下有没有数据生成

在这里插入图片描述

我觉得海星_98
关注
专栏目录
大数据ETL开发之图解Kettle工具入门到精通（附上kettle安装包）
2401_84166327的博客
05-01 641
XML可扩展标记语言eXtensible MarkupLanguage，由W3C组织发布，目前推荐遵守的是W3C组织于2000年发布的XML1.0规范。XML用来传输和存储数据，就是以一个统一的格式，组织有关系的数据，为不同平台下的应用程序服务。
2024年大数据ETL开发之图解Kettle工具（入门到精通），图文详解
2401_84182906的博客
05-05 1045
在实际企业开发中，都是在本地Windows环境下进行 kettle 的 job 和 Transformation 开发的，可以在本地运行，也可以连接远程机器运行。
ETL学习心得：探求数据仓库关键环节ETL的本质
石头记
01-13 2477
原文链接：http://hi.baidu.com/horsewhite/blog/item/b167f81f6924ef0a304e15a0.html 做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量，使用access、DTS或是自己编个小程序搞
数据交换工具Kettle
weixin_34206899的博客
02-14 217
网上搜集了一些关于开源数据交换工具Kattle的文章，特收藏例如以下：文章一：ETL和Kettle简单介绍 ETL即数据抽取（Extract）、转换（Transform）、装载（Load）的过程。它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因...
Kettle数据转换
最新发布
大连赵哥的博客
08-22 481
Kettle数据转换
kettle-实现不同数据库之间的数据交换
此后如竟没有炬火我便是唯一的光
08-31 1159
例如有如上的需求，那么传统的导出sql、dmp都不再实用了，这个时候我们可以借助kellte 工具进行数据交换，接下来让大家感受一下它的方便快捷。
ETL数据交换平台，支持多种实时数据流接入
RestCloud的博客
08-23 2137
RestCloud ETL数据交换平台是基于微服务架构完全自主研发和创新的新一代数据集成平台，通过叠加API服务平台即可快速落地构建一个轻量级的数据中台。平台通过可视化的拖、拉、拽即可完成数据集成流程的构建并实现数据抽取、转换、清洗、脱敏、加载等功能，RestCloud ETL数据平台从架构、易用性、传输性能、可视化、功能丰富性等方面均全面超越Kettle等开源ETL工具。通过容器化技术RestCloud ETL支持大规模的分布式部署架构，可以根据资源利用率实现动态的弹性伸缩实现上万流程的同时调度与并发运行
大数据ETL开发之图解Kettle工具入门到精通（附上kettle安装包）(1)
2401_84181942的博客
04-28 1122
ETL (Extract-Transform-Load 的缩写，即数据抽取、转换、装载的过程)，对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种ETL工具的使用，必不可少。市面上常用的ETL工具有很多，比如Sqoop，DataX, Kettle, Talend 等，作为一个大数据工程师，我们最好要掌握其中的两到三种，这里我们要学习的ETL工具是Kettle!
大数据最全大数据ETL开发之图解Kettle工具（入门到精通）(4)
2401_84181975的博客
05-04 158
在实际企业开发中，都是在本地Windows环境下进行 kettle 的 job 和 Transformation 开发的，可以在本地运行，也可以连接远程机器运行。
大数据最全大数据ETL开发之图解Kettle工具（入门到精通）(3)
2401_84181975的博客
05-04 195
在实际企业开发中，都是在本地Windows环境下进行 kettle 的 job 和 Transformation 开发的，可以在本地运行，也可以连接远程机器运行。
国产 ETL工具 ETL产品 数据交换系统
威哥
01-27 402
国产 ETL工具 ETL产品 数据交换系统 如何选型
Enhanced ETL 数据实时交换与共享解决方案
weixin_30755709的博客
07-13 1266
前言 随企业内部的信息业务系统种类不断增长，新的应用也不断出现。如基于各种已有的应用系统及其数据开发的数据仓库、经营分析、CRM客户关系等应用，已经成为企业信息竞争力的关键。各种应用的数据存在于不同的应用系统孤岛中，能及时进行信息交换和共享是信息使用价值所在。传统ETL是通过Sql接口从生产数据库抽取、或由生产数据库应用开发商根据ETL的要求定期生成接口文件，其弊端是：1）ETL不能实时，一般1...
Kettle Spoon数据交换工具图文说明
niaonao
10-24 1052
Kettle Spoon数据交换工具图文说明
ETL简介以及使用ETL（Kettle）进行数据接入的具体例子
承缘丶
04-23 2679
ETL简介 业务表梳理以及接入规划 数据接入中的方便工具 数据治理实操训练
什么是ETL？5分钟看完秒懂
weixin_44846436的博客
03-11 5906
什么是ETL？ 一、ETL概念之背景 随着企业的发展，目前的业务线越来越复杂，各个业务系统独立运营。例如：CRM系统只会生产CRM的 数据；Billing只会生产Billing的数据。各业务系统之间只关心自己的数据，导致各业务系统之间数据相互独立，互不相通。一旦业务系统之间进行数据交互，只能通过传统的webservice接口之间进行数据通信。该种方式对人力成本、时间成本要求比较高。也就是说：需要成熟的开发人员才能编写响应的webservice接口进行数据通信。而ETL的诞生就解决了此类问题，企业不需要技术很
Kettle 数据迁移
qq_33865313的博客
06-09 5472
Kettle 数据迁移 Kettle 中文名称叫水壶，该项目的主程序员希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle是用来做数据迁移的，也就是将一个数据库中的数据全部导入另一个数据库，说起来简单，可是要是这两个数据库的表中的字段完全不同那怎么办呢，总不能简单的复制粘贴吧，所以就需要将表的字段名称甚至字段内容都进行一次转换，才可以解决问题。在这里关于Kettle的安装就不做说明了，主要是说说我的用法，也算是一个新手使用教程吧。 打开软件后，首先，我们先新建一个转换，ctrl+...
BI项目中ETL设计与思考
yong5241200的专栏
09-04 1311
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。通常情况下，在BI项目中ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的
ETL工具Kettle入门与实战总结
ETL工具Kettle，全称为Pentaho Data Integration，是一个开源的工具，主要用于数据提取、转换和加载（ETL）过程。它的起源可以追溯到2003年，2006年被纳入Pentaho BI平台，自此成为了PDI的核心组成部分。官方网站为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值