1、kettle界面connect消失
第一步:检查IE浏览器,不能低于10;
第二步:在数据资源仓库的database里描述写中文,导致repositories.xml出现乱码;
解决方法:
1) 找到.kettle目录,不知道目录路径的,可以搜索文件repositories.xml
例如:C:\Users\yyalin\.kettle
2)删除该目录下的repositories.xml,.spoonrc、db.cache文件
3)重启恢复正常
1、无法将null插入
该问题是由于目标的字段不能为null,而插入的数据有null值导致的
解决方法:将目标库的字段设置为可以为null,或者用nvl等语句对入库数据执行处理
2、无效数字
原因1:是目标库要求的number类型,而入库的数据是varchar类型
解决方式:将目标库的类型改为varchar类型,或者用正则表达函数regexp_replace将
入库数据进行过滤,只留下数字。
原因2:在对账报错的话,是因为原库、目标库主键字段类型不一致,一般是原库是varchar,目标库是number造成的,常出现在数据库是Oracle19C上。
解决方案:将原库字段TO_NUMBER()即可
3、入库字段的值太大
解决方法:将目标字段的值改大,或者用SUBSTR对入库数据进行截取
4、标志符无效,原因是目标库没有对应的字段
解决方法:检查目标库是否有对应的字段,没有就新增。也有可能是源库有多余字段,可能要删除。
5、大字段,用dblink,造成Kettle查询原表卡死或很慢
问题原因:大部分是使用dblink造成的,由于dblink对大字段比较敏感。
解决方案:建议将包含大字段的表使用原库连接方式直接查询,不再使用dblink,直接在数据库连接里面配置原库连接即可。
6、对账时报违反唯一性约束
解决方案:因为两边时间戳不一致造成的,在数据同步完后对错误消息进行插入更新处理,这样就可以保证两边时间戳及数据完全一致,避免因报错导致整个流程无法进行。
7、ORA-01861: 文字与格式字符串不匹配
造成原因:经常发生在数据库字段是日期类型,但是处理的时候是varchar类型的。
解决方案:
利用数据库的日期类型查找是哪个字段,将其改为date类型即可。
8、解决转义问题
常见的报错:ORA-00917: 缺失逗号
解决方法:q'/?/'
INSERT INTO KTCITY.CDR_01_LOG_FALSE (FIELD_NAME,CREATE_TYPE,CREATE_TIME,TRAN_FLAG,EVT_LOG_ID,BS_CODE,TRAN_COMMENT,TABLE_NAME,UPDATE_TIME) VALUES ('ORG_CODE|CLINIC_ID@'||'?'||'|'||'?','?',sysdate,'N','?','C01.02.00.00', q'/?/','KTBASE_PERSON',sysdate); COMMIT; |
/*+ driving_site(A) LEADING(D,A,C,B) USE_NL(A) USE_NL(C) USE_NL(B) */ |
其中:A、B、C、D是表的别名。
9、kettle中报org.gjt.mm.mysql.Driver 解决办法
出现的问题:
解决方法:
修改maven 中的版本号,低于mysql-connector-java-5.1.47.jar这个版本都支持。
具体参考:
https://blog.csdn.net/Yanhe_z/article/details/117559022
org.gjt.mm.mysql.Driver 版本5.1.47以前可以使用
com.mysql.jdbc.Driver 版本6-以下可以使用
com.mysql.cj.jdbc.Driver版本6+以上可以使用
10、kettle并发设置
2、设置并发数量,开启多线程
需要添加的上面右键,然后填写数量为2,enter即可。
但是,在多线程”insert/update”场景中,如果更新的key并非惟一,则有可能产生死锁(多个线程一次更新同一行的数据),因此设置并发的时候最好关键字是主键或唯一字段。
11、数据采集慢问题解决
12、kettle9.3mysql资源库乱码问题
备注:characterEncoding utf8
1、Invalid byte 2 of 2-byte UTF-8 sequence.
原因在于:
C:\Users\Administrator.kettle\repositories.xml 这个xml文件中有汉字导致乱码。
解决办法:
修改文件中的乱码,将同文件夹下的.spoonrc文件和db.cache-*文件删除掉;重启kettle
2、Kettle里在对数据库连接、转换、作业命名时尽量不要使用中文
3、Kettle在linux上查看不到资源库,将windows下的建好资源库的repositories.xml文件,拷贝到linux的KETTLE_HOME目录下(注:必须放到¥KETTLE_HOME目录下)
4、打开转换时提示【一个数据库错误发生在从资源库文件读取转换时 Unexpected error reading step information from the repository Invalid byte 1 of 1-byte UTF-8 sequence.】
一般发生在Windows系统,需要修改Spoon.bat中JVM参数【-Dfile.encoding=UTF-8】
第二种情况:若kettle客户端spoon.bat运行是好的,且webspoon运行也是好的,那就是启动类上少加了编码格式utf-8,例如:
start java -jar -Dfile.encoding=utf-8 -Xms10240m -Xmx10240m ./dataCollection.jar |
5、Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m
原因:tomcat使用的jdk版本为1.8,而在tomcat/bin/catalina.sh文件中,设置的vm参数:-Xmx2048m -XX:PermSize=512m -XX:MaxPermSize=768m -Xss2m
该参数在jdk1.8版本中已放弃使用,正确的设置方式为:
1 2 | JAVA_OPTS="-Xmx2048m -XX:MetaspaceSize=512m -XX:MaxMetaspaceSize=768m -Xss2m" CATALINA_OPTS="-Djava.awt.headless=true" |