ETL
文章平均质量分 82
kettle教程学习
想我就关公众号:大喇叭玩转数据库
展开
-
Kettle实战视频教程
呕心沥血制作的kettle视频教程,免费提供给大家,只要学不死,就往死里学,加油吧少年学完本课程,您将掌握:掌握kettle的基础知识,进阶知识和实际工作中的各种情况适合人群:1、熟悉数据库,想学习ETL的同学,想快速提升竞争力的ETL工程师 2、运维相关工作人员课程目标:能够掌握实际工作中遇到的迁移和业务各种实际工作内容课程简介:1、本教程不是单纯的各种控件进行逐个讲解2、所有知识点均全部为项目实战的介绍和总结3、单表和全表所有的同步4、本视频由浅入深,再由深入浅,循序渐进逐步转载 2021-05-07 17:17:44 · 868 阅读 · 0 评论 -
什么是ETL?5分钟看完秒懂
什么是ETL?一、ETL概念之背景随着企业的发展,目前的业务线越来越复杂,各个业务系统独立运营。例如:CRM系统只会生产CRM的 数据;Billing只会生产Billing的数据。各业务系统之间只关心自己的数据,导致各业务系统之间数据相互独立,互不相通。一旦业务系统之间进行数据交互,只能通过传统的webservice接口之间进行数据通信。该种方式对人力成本、时间成本要求比较高。也就是说:需要成熟的开发人员才能编写响应的webservice接口进行数据通信。而ETL的诞生就解决了此类问题,企业不需要技术很原创 2021-03-11 11:37:59 · 5800 阅读 · 2 评论 -
kettle实战教程-纯实战开发
kettle实战教程[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XT4L2hO6-1614843931347)(https://img2018.cnblogs.com/blog/1891116/201912/1891116-20191209093458476-1198784272.png)]Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主原创 2021-03-04 15:50:47 · 3245 阅读 · 2 评论 -
KETTLE4个工作中有用的复杂实例--2、两表数据比较,循环取数据,比较后自动同步(部门、单位数据同步)
KETTLE4个工作中有用的复杂实例–2、两表数据比较,比较后自动同步(部门、单位数据同步)二、两表数据比较核对,核对后自动同步至目标数据表目标:比较t_bm表的数据和t_bm_target表的数据,以t_bm表为准,往t_bm_target中进行数据的自动同步;具体操作见:https://www.cnblogs.com/dalaba/p/12126206.html...转载 2020-01-02 10:22:02 · 2247 阅读 · 0 评论 -
KETTLE4个工作中有用的复杂实例--1、数据定时自动(自动抽取)同步作业
今天呕心沥血花了8个小时给大家带来kettle工作中最常见的四种复杂实例,90%的项目用到这4种实例都可以解决。4种实例种还有2种通用kettle工具,使用这两种通用工具实例,可以直接修改相应的配置文件,完成数据的同步。下面就一一给大家带来这4种实例,完全原创且可以拿来直接使用,废话不说,下面直接给大家带来具体实例:KETTLE4个工作中有用的复杂实例–1、数据定时自动(自动抽取)同步作业...转载 2019-12-28 11:37:27 · 937 阅读 · 0 评论 -
ETL工具-KETTLE教程 实例实战4----转换(值映射、列转行,增加常量、增加序列等)
接着上一讲,讲完了常用的输入、输出控件后,这一节我们来讲下常用的转换控件,如下图:3、转换3.1 值映射:将一个数据流的内容,转换成另外的数据流,并输出。作用如同sql语句中的decode函数。此处用到三个控件,表输入、表输出(可以参考前面的内容)和值映射。三个控件用hop线进行连接。双击值映射,如上图所示配置好相应的源值和目标值,通过连线从A表连接到B表。运行结果如下:3.2 列...原创 2019-12-27 09:40:30 · 2438 阅读 · 1 评论 -
ETL工具-KETTLE教程专栏3----转换
一个作业相当于一次执行的全过程,而每个作业是由许多的转换和作业组成,下面我们先跳过作业和数据库连接直接先讲抓换:转换同时也是有许多的各种控件组成,下面我们就先来介绍下常用控件的使用,再举例说明下常用控件的使用:一、转换1、输入1.1、表输入:连接数据库(oracle、mysql、DB2,infomix,sqlserver),根据sql语句查询相关数据,放入数据流具体步骤:按照上图顺序:...原创 2019-12-26 10:14:05 · 409 阅读 · 0 评论 -
ETL工具-KETTLE教程专栏2----环境介绍
ETL工具-KETTLE教程专栏2----环境介绍一、整体结构图Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写,这意味着它被设计用来帮助你实现你的ETTL 需要:抽取、转换、装入和加载数据;翻译成中文名称应该叫水壶,名字的起源正如该项目的主程序员MATT 在一个论坛里说的哪样:希望把各种数据放到一个壶里然后以一种指定的格式流出。二、运行环境...原创 2019-12-26 10:08:27 · 248 阅读 · 0 评论 -
ETL工具-KETTLE教程专栏1----术语和定义
1-资源库资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。资源库有两种形式:一、Kettledatabase repository,即保存在各种常见的数据库资源库类型,用户通过用户名/密码来访问资源库中的资源,默认的用户名/密码是admin/admin和gu...原创 2019-12-26 10:06:18 · 261 阅读 · 0 评论 -
KETTLE 更新表的两种方式-更新控件和sql更新 2种方式的实现比较
KETTLE 更新表的两种方式-更新控件和sql更新 2种方式的实现比较原创 2019-12-23 11:03:13 · 1453 阅读 · 0 评论 -
kettle教程---通过配置表格配置实现数据的批量增量更新(实用)
本文接上篇文章,上面文章讲的是,通过配置文件的全量更新,现在说下增量更新如上图所示,涉及到1个转换和1个作业。1-表增量同步(转换)可以通过读取同步表参数这个excel表格文件,获取表名称和同步的依赖对象(本文就是cjsj创建时间),同步成功后复制记录到结果2-增量数据同步(作业)我们右键点开如上图,包含了7个转换组成。1)表数据同步设置(转换)获取上个转换的记录,放到设置变...原创 2019-12-16 18:16:38 · 1717 阅读 · 0 评论 -
kettle教程---kettle作业调度,附件(excel)配置表名,一个调度完成所有的表操作
在平时工作当中,会遇到这种情况:复制一个库,几百甚至上千张表,并且无法设置dblink,此时通过kettle可以快速完成该任务。按照正常的调度,有几百张表,咱们就要写几百个转换去处理,很不科学,下面笔者就给大家带来通过一个配置完成所有的全量表操作(后面的文章会带来增量)如下图,我们需要建一个总的调度作业,包括一个转换和一个作业1)【转换】,我们打开转换看到如下,包含【excel输入】,按照...原创 2019-12-13 22:08:32 · 725 阅读 · 0 评论 -
kettle教程---kettle作业调度,根据更新时间增量更新
本文接上一篇,只写到读取日志。在平时工作当中,会遇到这种情况,而且很常见。比如:增量抽取(每隔2个小时抽取截至到上次抽取时间的记录)本文中会用到作业,先来熟悉下作业的概念简单地说,一个转换就是一个ETL的过程,而作业则是多个转换、作业的集合,在作业中可以对转换或作业进行调度实际情况中,每次抽取完毕,会写入日志表,记录本次抽取时间,下次抽取会根据本次抽取的成功时间,开始获取数据进行抽取。我们...原创 2019-12-13 20:14:39 · 3643 阅读 · 0 评论 -
kettle教程---增量更新
以下操作都在5.0.1版本下进行开发,其余版本可以进行自动比对在平时工作当中,会遇到这种情况,而且很常见。比如:增量抽取(每隔2个小时抽取截至到上次抽取时间的记录)一、操作前提:存在3张表,源表(t_student),同步日志表(t_tbrz),插入表(t_target_student),表结构如下图所示学生表同步日志表待插入学生表二、kettle操作1)如上图所示,需要4...原创 2019-12-13 11:36:30 · 2475 阅读 · 1 评论