Kettle
文章平均质量分 92
今天的砖很烫手
不断进步~总有一天回望过去!发现自己已经成长了很多...
展开
-
kettle -循环 , 实现多个转换之间依赖的控制及失败重试
kettle -循环 , 实现多个转换之间依赖的控制及失败重试业务场景 : 转换之间相互依赖 ,不能放到一个job中 ,要实现共用 , 减少资源的消耗 , 但是转换之间有依赖关系 , 及 : 父转换没完成 , 子转换不能启动循环实现 :![在这里插入图片描述](https://img-blog.csdnimg.cn/20200114230911323.png?x-oss-JS:代码va...原创 2020-01-14 23:14:29 · 2943 阅读 · 0 评论 -
KETTLE -表输入数据中文乱码
把允许简易转换勾选去掉即可!原创 2020-01-09 17:26:26 · 1434 阅读 · 2 评论 -
KETTLE - couldn't get row from result set unable to get timestamp from resultset at index 9
KETTLE - couldn’t get row from result set unable to get DATE from resultset at index 4KETTLE输入MYSQL数据时 , 出现以下错误MYSQL自身原因,解决如下 :zeroDateTimeBehavior=convertToNull...原创 2019-12-06 15:26:09 · 7035 阅读 · 0 评论 -
KETTLE -优化
KETTLE -优化1. 最直接的办法: 加内存 spoon.bat2. 通过改变开始复制的数量3. 查询控件使用缓存,内存够大还可以直接加载全表数据4. 设置合理的流程方案(避免查询组件)5. 设置表输出时批量提交的条数6.1. 最直接的办法: 加内存 spoon.bat2. 通过改变开始复制的数量(针对查询控件或者耗时的控件,这种方式比较简单,需要多长尝试合理的复制数量)3. ...原创 2019-11-20 20:04:22 · 2097 阅读 · 0 评论 -
Kettle踩过的坑
Kettle踩过的坑表输入控件 : 找不到对象表输出控件 : 任务运行成功,但输出的表无数据字段选择控件 : 日期格式转换一直不成功表输入控件 : 找不到对象SQL中不能用 * , 且表类型要正确 , 不能是ORACLE 临时表 , 和日志表表输出控件 : 任务运行成功,但输出的表无数据create global temporary table 表明‘原因 : 在PLSQL中进行了...原创 2019-10-15 14:12:05 · 461 阅读 · 0 评论 -
Kettle转换控件
Kettle转换控件转换属于ETL的T,T就是Transform清洗、转换。ETL三个部分中,T花费时间最长,是“一般情况下这部分工作量是整个ETL的2/3。Concat fields (连接字段)Concat fields就是多个字段连接起来形成一个新的字段。值映射值映射就是把字段的一个值映射成其他的值。在数据质量规范上使用非常多,比如很多系统对应性别gender字...原创 2019-09-11 16:09:54 · 492 阅读 · 0 评论 -
Kettle输出控件
Kettle输出控件输出是转换里面的第二个分类。输出属于ETL的L,L就是Load加载。本文内容1 :Excel输出2 :文本文件输出3 :SQL输出4 :表输出5 :更新6 :插入更新开始1 :Excel输出微软的Excel目前有两种后缀名的文件分别为:xls和xlsx。xls:2007年之前xlsx:2007年之后2 :文本文件输出3 :SQL文件输出...原创 2019-09-11 13:45:59 · 342 阅读 · 0 评论 -
Kettle输入控件
Kettle输入控输入:就是用来抽取数据或生成数据。是ETL操作的ExtractCSV文件输入文本文件输入提取日志信息的数据是开发常见的操作,日志信息基本都是文本类型。Excel输入...原创 2019-09-10 15:45:01 · 285 阅读 · 0 评论 -
Kettle核心概念
Kettle里的图就是转换和作业。转换(transaformation)是ETL解决方案中最主要的部分,它处理抽取、转换、加载各种对数据行的操作。转换转换 : 包含一个或多个步骤(step)转换中的步骤通过跳(hop)来连接,跳定义一个单向通道,允许数据从一个步骤向另一个步骤流动。步骤 (并行的)步骤需要有一个名字,这个名字在转换范围内唯一。每个步骤都会读、写数据行步骤将数据...原创 2019-09-10 13:51:59 · 594 阅读 · 0 评论 -
kettle快速体验
kettle快速体验从CSV输入数据 , 将数据复制到excle中输出原创 2019-09-09 19:50:44 · 135 阅读 · 0 评论 -
Kettle安装(windows)
Kettle下载和安装下载网址:https://community.hitachivantara.com/docs/DOC-1009855目录说明安装由于Kettle是Java语言开发的,该软件的允许需要Java运行环境的依赖。需要先安装JDK,准备好Java软件的运行环境。配置JDK和Kettle环境变量 运行...原创 2019-09-09 16:18:07 · 214 阅读 · 0 评论 -
Kettle简介
生存手册原创 2019-09-09 14:32:04 · 348 阅读 · 0 评论