kettle
dqswuyundong
这个作者很懒,什么都没留下…
展开
-
kettle 的内存设置及输出日志的时间类型
<br /> <br />设置kettle的内存<br /><br />REM ******************************************************************<br />REM ** Set java runtime options **<br />REM ** Change 256m to higher values in case you run out of memory.原创 2010-10-19 19:03:00 · 8390 阅读 · 1 评论 -
Kettle中ETL的效率优化
背景Kettle是什么?Kettle是一款开源的ETL工具,目前由Pentaho公司在管理。该工具包含一个可视化界面,可以用来设计、运行、调试ETL,被很多公司广泛采用。ETL是什么?ETL(Extract、Transform、Load)即抽取、转换、加载,是对异构数据源进行数据处理的一个部分。ETL的主要功能数据抽取从源数据源系统抽取目的数据源系统需要的数据;数据...转载 2019-01-17 14:10:18 · 1535 阅读 · 0 评论 -
kettle java代码
public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException{ Object[] r = getRow(); if (r == null) { setOutputDone(); return false; } ...原创 2019-01-03 15:25:30 · 559 阅读 · 0 评论 -
kettle ldap输出
最近项目需要使用ldap输出插件, 对ldap数据库进行了学习,可能大家对ldap中的dn字段是干什么的不清楚,dn在类似于数据库中的主键:如:dn:cn=honglv,ou=bei,ou=xi,ou=dong,dc=ljheee还有就是字段选择,ldap的新增必须有cn, sn,objectClass三个字段,更新的时候,如果字段没有的话,在字段选择的时候不要选择,不然会报错。...原创 2018-11-08 14:00:05 · 2087 阅读 · 4 评论 -
Pentaho Report使用手记
Pentaho BI 是一套基于流程的商业智能解决方案,Pentaho Report是报表设计器和发布器。该手记将介绍本人使用Pentaho Report过程中遇到的问题和解决办法,以及使用心得。1,PDF中文显示问题设置File->Configuration ->output-pageable-pdf 设置第一项 Encoding 为Identity-H如图转载 2015-05-15 10:51:17 · 1004 阅读 · 0 评论 -
kettle blob
kettle 除了作为 ETL 工具外,还有很多数据处理方面的实用功能,本文介绍几个实用的小功能。1. 文件批量入库该功能可以将一个目录下的全部或部分文件加载到数据库中。流程图:[@more@]第一步: “获取文件名” 步骤获取一个目录下的文件名,使用一个正则表达式来指定文件名。如上图,指定了 E:/opensource/kettle-t转载 2014-10-14 22:06:22 · 8998 阅读 · 0 评论 -
DOS format was specified but only a single line feed character was found, not 2
在使用KETTLE开发transform的时候,遇到了这个问题。transform的逻辑是使用一个“文本文件输入”读取了一个文件。在预览记录的时候出现了一个错误2009/12/16 17:34:34 - Trans - 这项转换可以被回放 回放日期是: 2009/12/16 17:34:332009/12/16 17:36:49 - 文本文件输入.0 - Opening file: D:\转载 2012-03-22 10:28:33 · 4643 阅读 · 0 评论 -
kettle 3.2的webstart
<br />在尝试Kettle的webstart方式运行时,遇到了一点问题,最终解决。<br /> <br />一、下载kettle<br />从http://sourceforge.net/projects/pentaho/files/下载pdi3.2(也就是kettle)。<br /> <br />二、ant webstart<br />解压后等到kettle trunk目录,在cmd下,直接ant webstart<br />如果出现编译错误,是因为没有把当前路径加到classpath。<br />转载 2011-02-23 12:46:00 · 3465 阅读 · 0 评论 -
kettle 数据库连接密码的加密
<br />打开kettle的资源库配置文件respositories.xml,可以看到数据库的连接密码是加密的。<br />例如<username/> <password>Encrypted sasdfere13rrrf</password><br /> <br />加解密由org.pentaho.di.core.encryption.Encr负责,算法非常简单:public static final String encryptPassword(String password) {转载 2011-02-23 12:22:00 · 9698 阅读 · 0 评论 -
Kettle 在应用中遇到的一些问题和解决方法
<br />本文主要总结了 Kettle 在中文环境应用中遇到的一些问题, 问题列表还会不断增加. 这些问题都是 kettle fans 提供的,欢迎参与讨论.<br />问题1:<br />从excel 中抽取数据,插入到oracle 9 数据库中,报下面的错误.<br />2008/06/25 13:30:57 - 插入更新数据表.0 - Insert row: ![field1=1.3965E8, field2=1,798, field3=2002/05/27 00:00:00.000]<br />2转载 2011-02-22 12:24:00 · 2344 阅读 · 0 评论 -
kettle 里面的xul实现
<br />从官方下载的Kettle3.2版本,大部分的界面已经可以显示为中文。基于Java对多国语言的支持,Kettle的汉化变得比较简单,只需修改相应的资源文件就可以了。<br />Kettle的多国语言资源文件非常多,总共有一百多个,分别放在不同的包的messages目录下面,而在messages目录的同一级,会有一个叫Messages的类。资源文件放到不同的目录下,有利于个模块单独开发,但建那么多一样的Messages类,似乎没有必要。<br /> <br />这些不是要说的重点,在完成所有资源文件转载 2011-02-23 12:28:00 · 3949 阅读 · 0 评论 -
kettle 里用js 调用java类
<br />1. 需要事先将jar包 放在kettle 的 libext 目录,kettle 在启动时会自动加载libext 目录下的所有 jar 包。<br />2. modified java script 步骤要选中 compatibility mode,并将 content 设置为输出的字段。<br /> <br />代码如下:<br /> var 变量 = new Packages.包名(参数 );原创 2010-11-03 16:25:00 · 3799 阅读 · 1 评论 -
kettle 集群
<br /> <br />Kettle集群<br /> <br />Kettle是一款开源的ETL工具,以其高效和可扩展性而闻名于业内。其高效的一个重要原因就是其多线程和集群功能。<br />Kettle的多线程采用的是一种流水线并发的机制,我们在另外的文章中专门有介绍。这里主要介绍的是kettle的集群。<br /> 集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用kettle集群时,首先需要定义的是Cluster schema。所谓的Cluster schema就是一系列的子服务器的集合。原创 2010-10-19 19:07:00 · 12145 阅读 · 0 评论 -
Kettle表输出报关闭的连接问题的解决方法
最近在使用Kettle的时候表输出有时候会报一个错误 关闭的连接在网上查了半天都没有找到解决办法现在记录一下解决过程以备后用。软件环境-Oracle 11g R2-Kettle 5.0.1-JDK 1.6-Oracle Driver OJDBC14.jar错误日志ERROR (version v2.0, build 1 from 2014-09-30 16.48.55 ...转载 2019-04-11 10:42:22 · 5416 阅读 · 0 评论