![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ETL
xxc1605629895
这个作者很懒,什么都没留下…
展开
-
kettle 常用输出(插入更新、表输出、执行 SQL 脚本)
上一篇 文章 ,主要讲了 kettle 的原理、安装及简单的使用。其中用到了一种输出方式:插入更新。这篇文章,主要介绍下常用的输出方式:插入更新、表输出、执行 SQL 脚本。插入更新插入更新,顾名思义,包括插入和更新两种情况。我们需要先设置一个条件,符合条件时,进行更新操作;否则,进行插入操作。常见的条件就是判断表中的 ID 和流(上一个步骤的结果,可以理解为内存)中的 ID 是否相等,相...转载 2019-05-24 23:30:40 · 8392 阅读 · 3 评论 -
kettle 条件判断 Switch Case
介绍Switch / Case,顾名思义,类似 Java 中的 Switch / Case,用于进行条件判断。是 kettle 中一个非常常用组件。使用起来也非常简单,我们直接来看例子。场景介绍有一个 user 表,表中数据如下:我们需要对 code 字段进行判断,如果不为空,则将数据同步到 user_copy 表(表结构相同);如果 code 为空,则记录一条错误记录,错误记录表 e...转载 2019-05-24 23:38:45 · 7137 阅读 · 0 评论 -
kettle日志记录
环境描述:现在一个项目有很多个作业,需要知道每次跑批后哪些ktr跑成功,哪些失败了问题解决:下面是一个具体的操作流程首先建立数据库表CREATE TABLE test_1(id INT,NAME VARCHAR(10)); INSERT INTO test_1 VALUES(1,'hsj'); CREATE TABLE test_2(id INT PRIMARY KEY NOT...转载 2019-05-26 21:55:18 · 6244 阅读 · 6 评论 -
Windows下Kettle定时任务执行并发送错误信息邮件
1.首先安装JDK2.配置JDK环境3.下载并解压PDI(kettle)目前我用的是版本V7的,可以直接百度搜索下载社区版,企业版收费,社区版免费下载地址:https://sourceforge.net/projects/pentaho/files/Data Integration/4.打开解压文件夹kettle找到spoon.bat,双击打开5.新建作业点击左上角文件=>新...转载 2019-05-26 22:03:38 · 3420 阅读 · 0 评论 -
kettle 简介及入门
介绍kettle 是纯 java 开发,开源的 ETL工具,用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。有图形界面,也有命令脚本还可以二次开发。kettle 的官网是 https://community.hitachivantara.com/docs/DOC-1009855,github 地址是 https://github.com/pentaho/pent...转载 2019-05-22 23:28:14 · 758 阅读 · 0 评论 -
ETL是什么
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下,在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。ETL的设计分三部分:数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的...转载 2019-05-22 23:32:32 · 1567 阅读 · 1 评论