![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kettle
山丁SOOK
学如不及,犹恐失之。
展开
-
Kettle-如何判断Excel某列出现过并且判断
如何判断 Excel表格中 某行出现过某条数据之后 影响之后的数据举例我想把 光租船,分包船,后面数据,新建一列,再进行分别赋值。首先再Excel输入中 把行号列引入之后使用JS代码进行操作if(rn==1){ setVariable('XXXXX',0,'r');}var aca = getVariable('XXXXX',0);if(序号 == "分包船作业统计:"){ aca = -1; setVariable('XXXXX'...原创 2021-12-13 19:17:14 · 988 阅读 · 0 评论 -
Kettle链接Mysql8,jar包失效解决方法。
1.将kettle连接mysql的包放入lib文件目录2.修改data-integration\simple-jndi路径下的jdbc.properties配置文件,加上如下内容(kettle为数据库名称,MYSQL8_DB为JNDI名称):MYSQL8_DB/type=javax.sql.DataSourceMYSQL8_DB/driver=com.mysql.cj.jdbc.DriverMYSQL8_DB/url=jdbc:mysql://localhost:3306/kettle?us原创 2021-11-10 09:44:26 · 1668 阅读 · 0 评论 -
ETL-kettle-13 SQLserver->oracle 字段精度出现问题
,CAST (字段名称 AS varchar) as 字段名称原创 2020-01-13 17:52:44 · 466 阅读 · 0 评论 -
ETL-kettle-12.字符串中的数字数据过滤
源数据:工程:字符串替换(把.00替换为空)Javascript//处理TORQUE字段异常if(TORQUE!=null){var TORQUE_ = TORQUE.replace(/[^0-9]/ig,""); //提取数字}else{var TORQUE_ = null;}字段选择再转换成Number...原创 2019-11-27 10:07:13 · 2439 阅读 · 0 评论 -
ETL-kettle-12.kettle判断数值是否为一个数字
JavaScript组件:isNaN() 函数定义:Is Not A Number 的意思,此函数会检测参数是否 “不是数值” ,任何不能被转换为数值的参数都会返回 true,反之返回 false...原创 2019-11-25 14:40:15 · 1283 阅读 · 0 评论 -
ETL-kettle-11.在kettle中使用JavaScript生成MD5
js文件要与转换文件保存路径一样的!LoadScriptFile(getVariable(“Internal.Transformation.Filename.Directory”, “”) +"/MD5.js");var 联合ID = XX+XXID+XXID;var 联合ID_toMD5 = hex_md5(hex_md5(联合ID));接下来是MD5.JS<?xml versi...原创 2019-11-15 09:45:37 · 2619 阅读 · 0 评论 -
ETL-kettle-10.String转Number
方法一:需求:需要将String类型的数据转换成number,输入到数据库表中前景:文本文件中有大量的number数据,但是有一些数据不是number。而是字符串’null’读取数据的时候报错:Couldn’t parse field [Number(25)] with value [null], format [null] on data row字符串当然不能按number读取出来了。...原创 2019-10-29 14:39:33 · 1565 阅读 · 0 评论 -
ETL-kettle-9.当表需要多次查询,单次查询后复制到结果,避免并发
首先在JOB中建一个转换这样 下次转换中要用到此表的数据就只需要 从结果中取就可以了如果在Job内结果不被覆盖 就一直可以用。可多级。原创 2019-10-24 14:29:00 · 1020 阅读 · 1 评论 -
ETL-kettle-8.使用Java代码判断字符串长度是否需要调整
首先通过过滤记录 过滤空值(当然也可以从SQL中直接不展示,这里业务有需要)然后是JAVA组件:代码:public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException { if (first) { first = false; /* TODO: ...原创 2019-10-17 15:34:56 · 1473 阅读 · 0 评论 -
ETL-kettle-7.字符串拆分为多个字段
输入字段类型调用Kettle组件:原创 2019-10-17 15:29:08 · 3164 阅读 · 0 评论 -
ETL-kettle-6.字符串类型转时间类型
原数据:接受类型为DatejavaScript 代码组件var a = 输入字段名称;a + " 00:00:00"var date = new Date(a.replace(/-/g, ‘/’));下面字段类型不要忘记写Date原创 2019-10-17 15:25:09 · 7308 阅读 · 1 评论 -
ETL-kettle-报错.Error reading information from input stream&Invalid byte 1 of 1-byte UTF-8 sequence.
打开以往写过的工程 报错:找到C:用户下的 .kettle文件夹 清空里面的所有文件清空后会把所有的DB连接删除掉,工程里用到的会保存到工程中!原创 2019-08-06 17:47:23 · 6774 阅读 · 1 评论 -
ETL-kettle-5.SQL Server的Image字段(Blob类型)转换到Oracle数据库
最开始我是用Blog转换String(到Oracle)select utl_raw.cast_to_varchar2(dbms_lob.substr(LITHOLOGY_OILNESS_DESC2,4000,1)) A,CHANNELID from ML_ACH_CUTTINGS之前我是把SQL Server的image字段直接抽取到Oracle库里(image字段中存的是字符串),然后再用...原创 2019-07-02 14:23:57 · 2661 阅读 · 0 评论 -
ETL-kettle-4.kettle多库判断存储
需求:A库有学生表一张 学生科目2 分数B库中 分别有两张表 表1为学生的科目1分数 表2空表需要将学生的考试 学生姓名 分数1 分数2 插入到B库的表2中原创 2019-06-03 22:51:15 · 263 阅读 · 0 评论 -
ETL-kettle-3.kettle多表合并判断抽取
建表语句在上一篇已经写过了 就不写了哈需求:Oracle中一共有四张表,将每个学生的信息和对应的考试分数,抽取到MySQL的数据库表中(表提前建好)一、建立两个数据库的连接二、...原创 2019-05-22 20:35:28 · 7797 阅读 · 0 评论 -
ETL-kettle-2.从Oracle到MySQL的数据迁移
建表语句:公司最近有这样一个需求:在Oracle库里面是有数据的,但是我想把Oracle里的数据抽取的MySQL里面应该怎么使用kettle这个工具实现?公司库里的数据就不能外漏,所以我拿网上的一个带有关联关系的四个表在做个例子,作为自己学习的留存。CREATE TABLE student(sid INT,sname varchar(32),sage INT,ssex ...原创 2019-04-05 20:20:39 · 1226 阅读 · 0 评论 -
ETL-kettle-1.基本配置
最近在学习kettle 相关的概念什么的就不赘述了,根基于数据汇总的工具,当然kettle不止这一点功能,很强大。直接流程,作为自己学习的一点记录,从安装开始:一、电脑要先安装JDK、数据库(这里也不写了,最基本的)二、去kettle官网去下载(官网:http://kettle.pentaho.org/)kettle是开源、绿色的,所以在任何的文件夹都可以。我下载的是8.2的版本,其实任...原创 2019-03-31 16:18:14 · 511 阅读 · 0 评论