![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kettle
文章平均质量分 72
kettle 源码解析
夜里慢慢行456
菜鸡
展开
-
kettle运行mapreduce卡死问题
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMasterPlease check whether your etc/hadoop/mapred-site.xml contains the below configuration:yarn.app.mapreduce.am.envHADOOP_MAPRED_HOME=fullpathofyourhadoopdistributiondir原创 2020-08-05 11:18:52 · 448 阅读 · 0 评论 -
一次kettle内存泄漏排查与解决
对内存dump进行分析:[Full GC (Ergonomics) [PSYoungGen: 108461K->0K(2247168K)] [ParOldGen: 4737211K->3868172K(4779008K)] 4845673K->3868172K(7026176K), [Metaspace: 116691K->114102K(1165312K)], 1.2683131 secs] [Times: user=11.14 sys=3.38, real=1.26 secs原创 2021-01-22 10:27:47 · 1523 阅读 · 0 评论 -
kettle组件开发运行无效果的问题
在对kettle进行二次开发的时候, 配置了一个HadoopCofyFiles的组件,远程到Carte服务执行,日志:虽然显示为完成作业项,但其实并没有执行组件相应的功能操作。而在Spoon探索资源库,导入任务执行,发现任务正常执行,说明数据库数据应当没错。于是跟踪代码,发现下面的问题:能够执行成功的作业的JobMeta中JobEntry有明确的实现类。而在问题组件里,entry为MissingEntry。也因此缺失了一部分的配置数据,因此怀疑与这个MissingEntry相关,数据缺失,导致ket原创 2020-09-05 12:00:52 · 571 阅读 · 0 评论 -
大数据练级之kettle:Spoon启动程序到底干了点啥?
最近搭建kettle的源码调试环境整的焦头烂额。编译的zip包运行正常,可是用ide进行调试确实各种报错。为了制止这些不停歇的恶心,我们来看看Spoon.java里面到底干了些什么,为什么有那么多的报错。 public static void main( String[] a ) throws KettleException { boolean doConsoleRedirect = !Boolean.getBoolean( "Spoon.Console.Redirect.Disabled"原创 2020-07-25 17:04:58 · 1048 阅读 · 0 评论 -
kettle执行job流程分析
文章目录调试代码调试kettle调试远程执行的作业代码在远程调用使用carte服务的时候,使用比较多的2个工具类:Trans,Job下面看一下经常用的Job的远程调用方法:public static String sendToSlaveServer( JobMeta jobMeta, JobExecutionConfiguration executionConfiguration, Repository repository, IMetaStore metaStore ) throw原创 2020-09-08 11:01:19 · 1610 阅读 · 0 评论 -
kettle源码分析之2 engine调度
文章目录core 目录结构engine用户认证在engine之前先看看core的目录结构core 目录结构通常的core模块是用来做公共组件和核心功能的,kettle的core也是。单从根目录看,kettle也是使用了较多的配置文件:cluster 文件夹很明显是和集群进行连接处理的。compatibility 兼容数据类型i18n 国际化lafmetastore 元数据core 核心功能部分作为一款ETL工具,数据库兼容功能是最重要的部分。databa原创 2020-09-13 22:28:01 · 979 阅读 · 0 评论 -
kettle源码分析之1启动流程(IDEA启动carte调试)
文章目录通常的core模块是用来做公共组件和核心功能的,kettle的core也是。单从根目录看,kettle也是使用了较多的配置文件:cluster 文件夹很明显是和集群进行连接处理的。compatibility 兼容数据类型i18n 国际化lafmetastore 元数据core 核心功能部分作为一款ETL工具,数据库兼容功能是最重要的部分。database包包含大量的数据库元数据的配置。extension: kettle的扩展机制,稍后介绍。.原创 2020-09-09 16:20:01 · 1498 阅读 · 1 评论 -
kettle源码分析一 环境搭建
由于kettle的maven仓库在pentaho中,pom文件需要添加相应的仓库 <repositories><!-- kettle中央仓库 --> <repository> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/.原创 2020-07-03 14:59:14 · 806 阅读 · 0 评论 -
大数据练级之kettle代码结构分析
组件下载的工具包里有几个组件但是我们对执行文件分析一下,就发现这几个命令行工具的基础还是Spoon:call Spoon.bat -main org.pentaho.di.kitchen.Kitchen -initialDir "%initialDir%"\ %*结构:kettle-core:kettle的核心模块,包括一些数据处理等。kettle-dbdialog:kettle数据库连接界面逻辑。kettle-engine:kettle的引擎,负责执行kettle的具体作业和转换的逻辑,原创 2020-07-25 20:34:59 · 527 阅读 · 0 评论