caiyeyu-CSDN博客

原创在集群模式[slave-test]里没有定义从服务器问题的解决

部分Kettle版本部署集群时会遇到如下问题：[img]http://dl2.iteye.com/upload/attachment/0115/1874/389f6975-5bde-3f9b-a5b8-d543ab20563b.png[/img][img]http://dl2.iteye.com/upload/attachment/0115/1876/b233cd18-5d14...

2016-02-19 10:36:07 367 1

原创 kettle集群服务部署

本实验使用的服务器：127.0.0.1 lixuemei-PC10.2.2.11 DBM01110.4.2.12 DBM01210.2.2.10 DBM010三、carte相关配置文件说明本实验开启的四个carte服务，其中一台为Master另外三台为Slave，来实现在Kettle的Spoon中对mysql数据库中数据表读取后，以集群方式来执行排序的过程。...

2016-02-19 10:25:25 520

原创基于kettle5版本以上的集群部署

用例脚本如下[img]http://dl2.iteye.com/upload/attachment/0115/1832/4999a5b0-4a74-33ba-a72d-2c865d2270cf.png[/img]1：主对象树->转换->子服务器 [img]http://dl2.iteye.com/upload/attachment/0115/1830/34a3b8ed-1a...

2016-02-19 10:11:02 173

原创 kettle数据库编码问题

1:在DB连接处找到需要编码的库[img]http://dl2.iteye.com/upload/attachment/0115/1799/a3f7da88-690e-34ee-8960-192010bde226.gif[/img]2:设置编码，在弹出的Database Connection中选择Options选项，在Parameters下填入参数“characterEncod...

2016-02-19 09:14:02 883

原创 ORACLE数据库性能检测

[color=red]数据采集过程中经常会遇到入库慢,解决这个问题则首先需要脚本设计人员对插件的用法,其次要知道如何检查数据库的性能,很多情况下都是数据库本身优化不到位造成的[/color]数据库优化[color=blue]1:检查数据库sga,pga的使用情况[/color](1)系统全局域： SGA与操作系统、内存大小、cpu、同时登录的用户数有关。可占OS系统物理内存的1...

2016-02-19 09:07:02 753

原创 kettle常用插件插入/更新数据丢失问题

[img]http://dl2.iteye.com/upload/attachment/0115/1637/4dbbc08a-6935-332c-825d-bfb6d4c0f98c.png[/img]数据采集过程中使用[color=red]插入/更新[/color]插件需要注意：1：关键字段查询，需要目标库不存在相同关键字段的数据，否则会多数据，如果存在类似的情况需要替换成[col...

2016-02-18 16:42:15 2930

原创 kettle系列之常见问题

1. Join我得到A 数据流（不管是基于文件或数据库），A包含field1 , field2 , field3 字段，然后我还有一个B数据流，B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做.这是新手最容易犯错的一个地方，A数据流跟B数据流能够Join，肯定是它们包含join key ,join key 可以是一个字段也可以是多个字...

2016-02-18 16:31:52 1871

原创性能测试报告

[b]1 测试内容[/b]模拟数据采集的整个过程，记录整个采集过程所用时间，以及每个采集子过程所用的时间，监控TOMCAT资源利用情况、应用服务器的资源利用情况，找出性能瓶颈所在。调整各方面的配置参数，优化性能。[b]1.1 源库XML包：[/b] 0000000000026888 0000000000046310 1 2011-09-2...

2016-02-18 16:20:16 241

原创 kettle插件开发，json转string 格式

基于kettle版本5.4.0.1-1301：实现类[img]http://dl2.iteye.com/upload/attachment/0115/1600/0349afc1-6950-3f70-aa76-4bbe93b74b62.png[/img]2:JSONToStringMeta说明：配置标签@Step(),初始化程序extends BaseStepMeta :继承Ba...

2016-02-18 15:16:55 919

caiyeyu的博客