Kettle (Pentaho Data Integration) 常见问题及解决方案

Kettle (Pentaho Data Integration) 常见问题及解决方案

一、数据库连接问题

1. 数据库驱动缺失

• 问题：ClassNotFoundException 或 No suitable driver found
• 解决：
  • 将数据库JDBC驱动文件（如mysql-connector-java.jar）放入 data-integration/lib 目录
  • 重启Kettle

2. 连接超时

• 问题：Connection timed out 错误
• 解决：
  • 检查网络连通性（telnet IP端口）
  • 在数据库连接配置中调整 Options 参数：

    connectTimeout=30000
    socketTimeout=60000
    

二、内存溢出

1. Java Heap Space 不足

• 问题：java.lang.OutOfMemoryError: Java heap space
• 解决：
  • 修改启动参数（编辑 spoon.sh 或 .bat）：

    -Xmx4g -Xms2g  # 根据机器配置调整
    

  • 在转换设置中降低 Commit Size（如每1000条提交）

三、步骤配置错误

1. 字段类型不匹配

• 问题：Error converting string to number
• 解决：
  • 使用 Select Values 步骤明确指定字段类型
  • 使用 Replace in string 清理非数字字符

2. 空指针异常

• 问题：NullPointerException
• 解决：
  • 启用 Replace null values 步骤处理空值
  • 在SQL查询中使用 COALESCE() 函数

四、作业调度问题

1. 文件锁冲突

• 问题：File locked by another process
• 解决：
  • 检查是否有其他进程占用文件
  • 使用 Get Files 步骤时关闭 Pass through previous rows

2. 参数传递失败

• 问题：变量值未正确传递
• 解决：
  • 使用 Set Variables 设置全局变量
  • 在转换属性中勾选 Pass parameter values to sub-transformations

五、性能优化

1. 大数据处理慢

• 优化方案：

  -- 在表输入中使用分页查询
  SELECT * FROM table LIMIT ${LIMIT} OFFSET ${OFFSET}
  

• 启用 Batch 模式进行批量提交

• 使用 Sort 步骤前增加内存缓存

六、错误处理

1. 错误数据捕获

• 配置方法：

  • 右键点击步骤 → Define error handling

  • 指定错误输出字段和错误描述列

2. 错误重试机制

• 实现：

  • 在作业中添加 Check Db connections 步骤

  • 使用 Execute for every input row 循环重试

七、常见错误代码

错误代码	说明	解决方案
KETTLE-001	连接失败	检查防火墙和凭证
KETTLE-004	字段不存在	验证字段映射关系

提示：可通过 View → Show debug messages 查看详细日志定位问题