Kettle
文章平均质量分 57
HNDX2018
十年之后,你是否还在IT。
十年之后,你是否已经成家。
十年之后,你过的怎么样了。
展开
-
Kettle学习笔记009之脚本组件
主要介绍 【Java代码】组件,【SQL】组件,【Shell】组件 【Java代码】组件序言:【Java代码】组件是个自定义插件,用于当Kettle内置的组件无法满足需要的时候。实例目标:把中文字符串转为拼音第一步:将写好的getPinYin方法整块复制到processRow方法后面:第二步:然后修改processRow方法里面的/* TODO:部分,get(Fie...原创 2018-10-18 09:25:38 · 1325 阅读 · 0 评论 -
Java基础与Kettle分析学习笔记002
4. 功能模块Kettle的四大功能模块a. Chef -- 工作(job)设计工具(GUI方式)b. Kitchen -- 工作(job)执行器(命令行方式)c. Spoon -- 转换(transform)设计工具(GUI方式)d. Span -- 转换(transform)执行器(命令行方式) (1)Chef : 工作(Job) 设计器是一个GUI工...转载 2018-11-09 15:20:30 · 218 阅读 · 0 评论 -
Java基础与Kettle分析学习笔记001
秉承借助分析Kettle的机会,巩固JavaSE基础,学习优秀源代码程序。 1. Kettle工具 简介 (1)Kettle 是一款国外开源ETL工具,有两种脚本文件: transformation 和 job。 (2)transformation 完成针对数据的基础转换。 (3)job 完成对整个工作流的控制。注释:ETL 是 数据抽取(Ex...原创 2018-11-09 14:57:52 · 305 阅读 · 0 评论 -
kettle学习笔记008之转换组件
转换组件主要是在转换中起到加工处理的作用。介绍:排序记录,去除重复记录,拆分字段,字段选择。注意:在使用【去除重复记录】组件之前一定要对去重的字段进行排序 使用一个小示例来介绍这几个组件的使用,数据准备如下:要求目标表数据如下,即需要把原数据中name列不规范的数据处理掉并进行去重:Kettle是个专业的数据处理工具,在复杂处理逻辑下,最好是将这些处理步骤交给Ket...原创 2018-10-17 16:48:54 · 388 阅读 · 0 评论 -
Kettle学习笔记007之转换--输出组件
介绍三个表输出组件:Excel输出 ,文本文件输出,表输出 一. Excel输出组件1. Kettle 提供两种Excel组件。【Excel输出】【Microsoft Excel输出】a.【Excel输出】只能输出为Excel 2007之前(xls)格式的Excelb. 【Microsoft Excel输出】可以支持Excel之后(xlsx)格式的Excel。(推荐)...原创 2018-10-17 16:17:50 · 889 阅读 · 0 评论 -
Kettle学习笔记006之转换----输入组件
这里展示两个常用的输入组件:Excel输入组件 和 表输入组件 1. Excel输入组件位置: 核心对象 ---> 输入 --->Excel输入(1) 该组件的配置页上有三个带感叹号的标签页,表示必填(2) 第一步:选择表格类型(引擎)一般选择第二项或者第三项(3)第二步: 添加excel文件。先"浏览" 选中指定文件,后"增加"到“选中的文件”列表...原创 2018-10-17 15:52:39 · 417 阅读 · 0 评论 -
Kettle学习笔记004之资源库(数据库存储方式)
前言: 由于默认的转换,作业流程存储方式为单个文件存储。 当有很多个转换,作业文件的时候需要管理时候,一般使用资源库。 资源库有两种存储方式:数据库存储和文件存储。1. 创建资源库 在任务设计器Spoon界面右上角的Connect按钮----> Other Repositories----> Database Repository ---&...原创 2018-10-30 10:13:41 · 728 阅读 · 0 评论 -
Kettle学习笔记003之数据库连接配置
1. Kettle的数据库连接方式常用的是jdbc连接方式2. 数据库连接配置: 在任务设计器Spoon的主对象树的DB连接选项进行配置3. 共享数据库连接 a. 新建的数据库连接只能在当前转换或者作业中使用。 b. 在数据库连接名称上鼠标右键,点击共享即可将该数据库连接共享给其他转换或者作业使用 c. 数据库连接后还会在 .kettle...原创 2018-10-17 11:51:33 · 924 阅读 · 0 评论 -
Kettle学习笔记002之转换与作业
1 . Kettle的任务设计器Spoon 答:windows平台运行Spoon.bat文件,启动Kettle。注意,启动速度缓慢,需要等待,不要多次双击。 2. Kettle的两种流程:答:转换流程和作业流程a. 新建转换快捷键:Ctrl + Nb. 转化作业设计页面的左侧的“核心对象”下是分好类的功能组件,每一个组件代表一个步骤。c. 使用箭头连接代表流程走向。...原创 2018-10-16 16:54:33 · 782 阅读 · 0 评论 -
Kettle学习笔记001之运行环境配置
强调:针对Kettle的配置操作都是重启后才能生效。 1. JDK a. Kettle 8.1 要求jdk版本1.8以上。 注意:可以单独为kettle工具设置JDK环境,也可以使用安装在操作系统中的JDK环境。 案例一:为Kettle工具单独设置JDK环境。 (1) Kettle安装目录:data-int...原创 2018-10-16 16:32:32 · 919 阅读 · 0 评论 -
Kettle学习笔记012之使用Java执行Kettle作业
前言:Kettle提供一些API,Java通过调用这些API去执行Kettle作业,转换。 第一步:搭建Kettle运行环境从data-integration\lib\目录下复制部分核心jar包出来,导入到java项目(jdk1.8)中。所需jar包如下(不要忘了数据库连接驱动): 2. 代码示例(作业,转换,资源库)ackage com.staroon.ket...原创 2018-10-18 10:37:20 · 557 阅读 · 0 评论 -
Kettle学习笔记011之使用Windows计划任务定时执行Kettle作业
使用Windows计划任务执行Kettle作业,需要分两步:a. 编写一个批处理脚本。脚本中写着执行Kettle作业的内容。b. 创建一个计划任务。 编写批处理脚本:1. 命令说明 Kettle的作业和转换通过批处理脚本去执行。 执行作业使用的命令文件是Kitchen.bat 执行转换使用的命令文件是Pan.bat Kitchen.bat配置项如下...原创 2018-10-18 10:02:34 · 1389 阅读 · 0 评论 -
Java基础与Kettle分析学习笔记003
转载 2018-11-09 15:54:24 · 209 阅读 · 0 评论