pentahoBIsever+kettle进行大数据数据抽取任务调度(job)的排坑记录

软件版本

pentahoBIserver

pentaho-server-ce-8.2.0.0-342.zip

Kettle 

pdi-ce-8.2.0.0-342.zip

 

系统版本

CentOS Linux release 7.4.1708 (Core) 

 

相关参考

 

PentahoBIserver安装和迁移元数据库至mysql

推荐参考本篇(博客 1-3内容)

https://www.cnblogs.com/driftingshine/p/6065454.html

官方文档(配置修改部分 不全会导致其他问题 但可以参考)

https://help.pentaho.com/Documentation/8.1/Setup/Installation/Archive/MySQL_Repository

步骤明确(可惜图裂)

https://blog.csdn.net/timplenty/article/details/84530167

 

以下kettle相关

系列kettle使用

https://blog.csdn.net/qq_32448349/article/details/87882701

kettle从零开始系列

https://blog.csdn.net/MR_REN019235/article/details/78645476

kettle案例九-----linux使用kettle

https://blog.csdn.net/zzq900503/article/details/79110810

 

1.pentahoBIserver安装

1.1从官方下载所需版本的pentahoBIserver.zip压缩包 

1.2按照相关参考修改对应配置

1.3连接进入liunx服务器 进入对应目录

# cd /opt/

1.4上传文件 

# sz 

1.5解压文件

# unzip pentaho-server-ce-8.2.0.0-342.zip

1.6进入pentahoBIserver根目录
# cd /opt/pentaho-server/

1.7运行start.sh 启动服务

# ./start-pentaho.sh

1.8查看服务器运作状态

# ps -ef|grep pentaho

显示如下内容则说明服务器启动成功

root      4512     1  0 May14 ?        00:08:38 /usr/local/java/bin/java -Djava.util.logging.config.file=/opt/pentaho-server/tomcat/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djdk.tls.ephemeralDHKeySize=2048 -Djava.protocol.handler.pkgs=org.apache.catalina.webresources -Dorg.apache.catalina.security.SecurityListener.UMASK=0027 -Xms2048m -Xmx6144m -XX:MaxPermSize=256m -Dsun.rmi.dgc.client.gcInterval=3600000 -Dsun.rmi.dgc.server.gcInterval=3600000 -Dfile.encoding=utf8 -DDI_HOME=/opt/pentaho-server/pentaho-solutions/system/kettle -Dignore.endorsed.dirs= -classpath /opt/pentaho-server/tomcat/bin/bootstrap.jar:/opt/pentaho-server/tomcat/bin/tomcat-juli.jar -Dcatalina.base=/opt/pentaho-server/tomcat -Dcatalina.home=/opt/pentaho-server/tomcat -Djava.io.tmpdir=/opt/pentaho-server/tomcat/temp org.apache.catalina.startup.Bootstrap start
root     20531 20123  0 09:53 pts/1    00:00:00 grep --color=auto pentaho

 

2.排坑相关

2.1pentahoBIserver运行日志位置

/opt/pentaho/pentaho-server/tomcat/logs/pentaho.log

为便于查看日志可将logs文件夹映射到 tomcat/pentaho/下
然后通过 IP:8080/logs/pentaho.log 访问

2.2 kettle连接pentaho报错 

错误表现 本地kteele不连接pehtaho可正常使用 但是连接pentaho后一系列各种报错

主要报错 将共享对象读到转换***时发生错误

解决方式 重装解决

原因分析 具体原因未知 疑似配置有错

历史截图

2.3 pentaho调用job无效

错误表现 计划任务后立即执行 显示运行时间 但无效(对应数据库无数据产生)

主要报错 pentaho启动时报错

2019-05-07 08:48:39,967 DEBUG [org.pentaho.di.core.vfs.ConcurrentFileSystemManager] Using "/opt/pentaho/pentaho-server/tomcat/temp/vfs_cache" as temporary files store.

2019-05-07 08:48:40,009 DEBUG [org.pentaho.di.core.vfs.ConcurrentFileSystemManager] Skipping provider "org.apache.commons.vfs2.provider.webdav.WebdavFileProvider" because required class "org.apache.jackrabbit.webdav.client.methods.DavMethod" is not available.

2019-05-07 08:49:03,905 ERROR [org.quartz.core.ErrorLogger] An error occured while scanning for the next trigger to fire.

org.quartz.JobPersistenceException: Couldn't acquire next trigger: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'OPTION SQL_SELECT_LIMIT=5' at line 1 [See nested exception: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'OPTION SQL_SELECT_LIMIT=5' at line 1]

at org.quartz.impl.jdbcjobstore.JobStoreSupport.acquireNextTrigger(JobStoreSupport.java:2785)

at org.quartz.impl.jdbcjobstore.JobStoreSupport$36.execute(JobStoreSupport.java:2728)

at org.quartz.impl.jdbcjobstore.JobStoreSupport.executeInNonManagedTXLock(JobStoreSupport.java:3742)

at org.quartz.impl.jdbcjobstore.JobStoreSupport.acquireNextTrigger(JobStoreSupport.java:2724)

at org.quartz.core.QuartzSchedulerThread.run(QuartzSchedulerThread.java:263)

Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'OPTION SQL_SELECT_LIMIT=5' at line 1

at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)

at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

at java.lang.reflect.Constructor.newInstance(Constructor.java:423)

at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)

at com.mysql.jdbc.Util.getInstance(Util.java:386)

at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1052)

at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3597)

at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3529)

at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1990)

at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2151)

at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2619)

at com.mysql.jdbc.StatementImpl.executeSimpleNonQuery(StatementImpl.java:1606)

at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:2268)

at org.apache.commons.dbcp.DelegatingPreparedStatement.executeQuery(DelegatingPreparedStatement.java:96)

at org.apache.commons.dbcp.DelegatingPreparedStatement.executeQuery(DelegatingPreparedStatement.java:96)

at org.quartz.impl.jdbcjobstore.StdJDBCDelegate.selectTriggerToAcquire(StdJDBCDelegate.java:2921)

at org.quartz.impl.jdbcjobstore.JobStoreSupport.acquireNextTrigger(JobStoreSupport.java:2742)

... 4 more

查看报错可以发现提示JDBC有错误

解决办法 更新JDBC版本 删除(移动)原有版本 重启服务器

如下图中 mysql-connector-java-5.1.47.jar就是替换后版本

ODBC 或JDBC 报错

将对应版本(更新版本)放入如下文件 重启pentaho-server

cd /opt/pentaho-server/tomcat/lib/

原因分析 jdbc.jar包版本错位导致报错 直接导致无法调用JOB

历史截图

2.4 Mysql 密码过于简单解决方法

错误表现 生产环境中根据默认配置(安装文件中的sql脚本)创建mysql数据库用户和密码时报错

主要报错 error 1819(HY000):your password does not satisfy

解决办法 临时改变mysql策略 初始化mysql元数据库后再恢复

原因分析 mysql默认配置限制密码组成包括大小写字母和数字且长度大于8位

历史截图

 

参考链接 

https://www.jb51.net/article/95399.htm

2.5 使用基础设置 

错误表现 看不见上传的文件    显示为英文界面

主要报错 就是看不见              英文读不懂

解决办法 设置显示隐藏文件   设置语言 简体中文

原因分析 本地上传文件默认隐藏 英语4级没过

历史截图

2.6 批量上传文件

错误表现 上传只能一个一个传 传压缩包也不行

解决办法 内含文件名不要用中文 或者转码成 %E4%BD%9C%E4%B8%9A+2  形式 这个对应中文 作业2

原因分析 上传文件设置

参考链接

https://my.oschina.net/u/2862573/blog/1611077

2.7字符集乱码问题等多个使用问题

数据问题，比如MySQL输入表中存在日期为 0000-00-00 00:00:00, 会导致表输入读取错误

Kettle 默认会把空字符串转换为NULL，如果输入表和输出表对特定字段均限定不许为空，则会导致表输出错误

参考链接

https://www.cnblogs.com/driftingshine/p/6074589.html

2.8 kettle.properties文件位置 

/home/{user}/.kettle/

# cd /root/.kettle/kettle.properties

2.9 ERROR_0004

错误表现 web页面一切换中文日志输出报错

主要报错 

2019-05-14 15:03:01,735 ERROR [org.pentaho.platform.web.servlet.GenericServlet] GenericServlet.ERROR_0004 - Resource /pentaho-cdf-dd/lang/messages_zh.properties not found in plugin pentaho-cdf-dd

解决办法 复制个文件进对应路径然后 !!!重启pentaho-server

文件所在路径

/opt/pentaho-server/pentaho-solutions/system/common-ui/resources/web/compressed/dojo/pentaho/common/nls/messages_zh.properties

或

/opt/pentaho-server/pentaho-solutions/system/common-ui/resources/web/dojo/pentaho/common/nls/messages_zh.properties

将对应文件放入如下路径

#cd /opt/pentaho-server/pentaho-solutions/system/pentaho-cdf-dd/lang/

原因分析 缺少对应文件