这是官网对kettle监控系统性能介绍的链接:
为了方便多次查看,边将官网上纯英文版本的翻译了下
我们可以通过以下功能监控性能:
启用日志记录;
监控Job和Transformation结果;
使用检查点重新启动作业;
通过第三方监控SNMP集成Pentaho;
诊断技巧
应用Kettle日志记录最佳实践。
1、日志记录:
数据集成中的日志功能能够更容易地排除复杂的错误和故障,并度量性能。使用以下步骤打开数据集成中的日志记录:
-
创建一个名为pdi_logging的数据库或表空间。
-
启动Spoon,并打开一个转换或作业,为其启用日志记录。
-
进入编辑菜单,选择设置对话框。
-
选择Logging选项卡。
-
在左边的列表中,选择要记录的函数。
-
单击日志连接字段旁边的“新建连接”按钮。出现数据库连接对话框。
-
输入数据库连接详细信息,然后单击“测试连接”以确保它们是正确的。完成后单击OK。
-
查看要记录的字段列表,并确保选择了正确的字段。
注意:监视LOG_FIELD字段会对Pentaho服务器性能产生负面影响。但是,如果在配置转换日志记录时没有选择所有字段,包括LOG_FIELD,那么将不会在operation Mart日志记录中看到关于此转换的信息。
日志轮转
Pentaho服务器使用Apache log4j Java日志框架存储服务器反馈。log4j.xmll中的默认设置对于某些生产环境,可能太过冗长,并且太大。按照这些说明修改设置,使Pentaho服务器日志文件旋转和压缩:
-
停止所有相关服务器。
-
为log4j包下载Apache Extras附带的ZIP文档: Apache Logging Services
-
从ZIP中解压apache-log4j-extras.jar文件,并复制到服务器/pentaho-server/tomcat/webapps/pentaho/WEB-INF/lib/。
-
编辑log4j。Pentaho服务器的xml设置文件。这个XML文件位于server/pentaho-server/tomcat/webapps/pentaho/WEB-INF/classes/。
-
从配置中删除所有PENTAHOCONSOLE appender。
-
修改PENTAHOFILE appenders以匹配您喜欢的日志旋转条件,示例:
-
保存并关闭文件,然后启动所有受影响的服务器来测试配置。
Daily (date-based) log rotation with compression:(基于日期的日志旋转与压缩) <appender name="PENTAHOFILE" class="org.apache.log4j.rolling.RollingFileAppender"> <!-- The active file to log to; this example is for Pentaho Server.--> <param name="File" value="../logs/pentaho.log" /> <param name="Append" value="false" /> <rollingPolicy class="org.apache.log4j.rolling.TimeBasedRollingPolicy"> <!-- See javadoc for TimeBasedRollingPolicy --> <param name="FileNamePattern" value="../logs/pentaho.%d.log.gz" /> </rollingPolicy> <layout class="org.apache.log4j.PatternLayout"> <param name="