kettle使用常见问题解决-01

kettle常见问题解决

1、kettle界面connect消失

第一步:检查IE浏览器,不能低于10;

第二步:在数据资源仓库的database里描述写中文,导致repositories.xml出现乱码;

解决方法:

      1) 找到.kettle目录,不知道目录路径的,可以搜索文件repositories.xml

                例如:C:\Users\yyalin\.kettle

      2)删除该目录下的repositories.xml,.spoonrc、db.cache文件

      3)重启恢复正常

1、无法将null插入

该问题是由于目标的字段不能为null,而插入的数据有null值导致的

解决方法:将目标库的字段设置为可以为null,或者用nvl等语句对入库数据执行处理

2、无效数字

原因1:是目标库要求的number类型,而入库的数据是varchar类型

解决方式:将目标库的类型改为varchar类型,或者用正则表达函数regexp_replace

入库数据进行过滤,只留下数字。

原因2:在对账报错的话,是因为原库、目标库主键字段类型不一致,一般是原库是varchar,目标库是number造成的,常出现在数据库是Oracle19C上。

解决方案:将原库字段TO_NUMBER()即可

3、入库字段的值太大

解决方法:将目标字段的值改大,或者用SUBSTR对入库数据进行截取

4、标志符无效,原因是目标库没有对应的字段

解决方法:检查目标库是否有对应的字段,没有就新增。也有可能是源库有多余字段,可能要删除。

5、大字段,用dblink,造成Kettle查询原表卡死或很慢

问题原因:大部分是使用dblink造成的,由于dblink对大字段比较敏感。

解决方案:建议将包含大字段的表使用原库连接方式直接查询,不再使用dblink,直接在数据库连接里面配置原库连接即可。

6、对账时报违反唯一性约束

解决方案:因为两边时间戳不一致造成的,在数据同步完后对错误消息进行插入更新处理,这样就可以保证两边时间戳及数据完全一致,避免因报错导致整个流程无法进行。

7、ORA-01861: 文字与格式字符串不匹配

造成原因:经常发生在数据库字段是日期类型,但是处理的时候是varchar类型的。

解决方案

利用数据库的日期类型查找是哪个字段,将其改为date类型即可。

8、解决转义问题

常见的报错:ORA-00917: 缺失逗号

解决方法:q'/?/'

INSERT INTO KTCITY.CDR_01_LOG_FALSE (FIELD_NAME,CREATE_TYPE,CREATE_TIME,TRAN_FLAG,EVT_LOG_ID,BS_CODE,TRAN_COMMENT,TABLE_NAME,UPDATE_TIME)

VALUES   ('ORG_CODE|CLINIC_ID@'||'?'||'|'||'?','?',sysdate,'N','?','C01.02.00.00',  q'/?/','KTBASE_PERSON',sysdate);

COMMIT;

/*+ driving_site(A)  LEADING(D,A,C,B) USE_NL(A) USE_NL(C) USE_NL(B) */

其中:A、B、C、D是表的别名。

9、kettle中报org.gjt.mm.mysql.Driver 解决办法

出现的问题:

解决方法:

修改maven 中的版本号,低于mysql-connector-java-5.1.47.jar这个版本都支持。

具体参考:

https://blog.csdn.net/Yanhe_z/article/details/117559022

org.gjt.mm.mysql.Driver 版本5.1.47以前可以使用
com.mysql.jdbc.Driver 版本6-以下可以使用
com.mysql.cj.jdbc.Driver版本6+以上可以使用

10、kettle并发设置

2、设置并发数量,开启多线程

需要添加的上面右键,然后填写数量为2,enter即可。

但是,在多线程”insert/update”场景中,如果更新的key并非惟一,则有可能产生死锁(多个线程一次更新同一行的数据),因此设置并发的时候最好关键字是主键或唯一字段

11、数据采集慢问题解决

12、kettle9.3mysql资源库乱码问题

备注:characterEncoding utf8

1、Invalid byte 2 of 2-byte UTF-8 sequence.
原因在于
C:\Users\Administrator.kettle\repositories.xml 这个xml文件中有汉字导致乱码。
解决办法:
    修改文件中的乱码,将同文件夹下的.spoonrc文件和db.cache-*文件删除掉;重启kettle

2、Kettle里在对数据库连接、转换、作业命名时尽量不要使用中文

3、Kettle在linux上查看不到资源库,将windows下的建好资源库的repositories.xml文件,拷贝到linux的KETTLE_HOME目录下(注:必须放到¥KETTLE_HOME目录下)

4、打开转换时提示【一个数据库错误发生在从资源库文件读取转换时 Unexpected error reading step information from the repository Invalid byte 1 of 1-byte UTF-8 sequence.】

一般发生在Windows系统,需要修改Spoon.bat中JVM参数【-Dfile.encoding=UTF-8】

第二种情况:若kettle客户端spoon.bat运行是好的,且webspoon运行也是好的,那就是启动类上少加了编码格式utf-8,例如:

start java -jar -Dfile.encoding=utf-8 -Xms10240m -Xmx10240m  ./dataCollection.jar

5、Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m

原因:tomcat使用的jdk版本为1.8,而在tomcat/bin/catalina.sh文件中,设置的vm参数:-Xmx2048m -XX:PermSize=512m -XX:MaxPermSize=768m -Xss2m
该参数在jdk1.8版本中已放弃使用,正确的设置方式为:

1

2

JAVA_OPTS="-Xmx2048m -XX:MetaspaceSize=512m -XX:MaxMetaspaceSize=768m  -Xss2m"

CATALINA_OPTS="-Djava.awt.headless=true"

  • 3
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值