kettle中错误处理

最新推荐文章于 2024-06-22 21:15:00 发布
最新推荐文章于 2024-06-22 21:15:00 发布
阅读量5.5k 收藏 3
点赞数 1
分类专栏： kettle 文章标签： kettle pdi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lw18751836671/article/details/121339655
版权

目录

一、图文说明

二、 错误处理代码 

上述的图片整体代码

三、扩展

图片说明

完整代码

一、图文说明

          在如上图中，有定义一个tableOutputError，如果在select节点发生错误，那么就将进入此tableOutputError，将错误数据输出到表。

          但是如果是tableOutput处发生了错误，那么就无法进行错误处理了，后面没有定义错误处理。

    界面选择错误处理如下，

         只有有定义错误处理选项的才能错误处理，一般是输出节点，像tableInput就无法错误处理，因为是输入步骤。

二、 错误处理代码 

StepErrorMeta stepErrorMeta = new StepErrorMeta(null,selectStep,tableOutputErrorStep);
		stepErrorMeta.setEnabled(true);
		selectStep.setStepErrorMeta(stepErrorMeta);
		tableOutputErrorStep.setStepErrorMeta(stepErrorMeta);

        如上所示，需要定义一个StepErrorMeta对象，这就是错误处理步骤，同时还需要设置enabled，否则错误处理不启用。

        StepErrorMeta构造器的第二个参数是sourceStep，第三个参数是targetStep。

上述的图片整体代码

/**
	 * 错误处理
	 * @throws KettleException 
	 */
	@Test
	public void exchangeMysql2Mysql() throws KettleException{
		/*
		1. 源数据库连接
		 */
		String mysql_src = "<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +
                "<connection>" +
                "<name>mysql_src</name>" +
                "<server>192.168.10.64</server>" +
                "<type>MySQL</type>" +
                "<access>Native</access>" +
                "<database>test</database>" +
                "<port>3306</port>" +
                "<username>root</username>" +
                "<password>root</password>" +
                "</connection>";
		
		/*
		2. 目标数据库连接
		 */
        String mysql_dest = "<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +
                "<connection>" +
                "<name>mysql_dest</name>" +
				"<server>192.168.10.64</server>" +
				"<type>MySQL</type>" +
				"<access>Native</access>" +
				"<database>test</database>" +
				"<port>3306</port>" +
				"<username>root</username>" +
				"<password>root</password>" +
				"</connection>";
        
        DatabaseMeta srcDatabaseMeta = new DatabaseMeta(mysql_src);
        DatabaseMeta destDatabaseMeta = new DatabaseMeta(mysql_dest);
        
        //创建转换元信息
        TransMeta transMeta = new TransMeta();
		transMeta.setName("mysql8之间的交换");
		
		//设置源和目标
		transMeta.addDatabase(srcDatabaseMeta);
		transMeta.addDatabase(destDatabaseMeta);
		
		/*
		 * 创建  表输入->选择-->表输出/错误输出
		 * 同时将两个步骤连接起来
		 */
		PluginRegistry registry = PluginRegistry.getInstance();

		/*
		3. 表输入
		 */
		TableInputMeta tableInputMeta = new TableInputMeta();
		String tableInputPluginId = registry.getPluginId(StepPluginType.class,
				tableInputMeta);
		
		tableInputMeta.setDatabaseMeta(srcDatabaseMeta);
		//设置查询条件
		String selectSql = "select id ,name from user_info_src";
		tableInputMeta.setSQL(selectSql);
		
		StepMeta tableInputStepMeta = new StepMeta(tableInputPluginId,
				"tableInput", (StepMetaInterface) tableInputMeta);

		//给步骤添加在spoon工具中的显示位置
		tableInputStepMeta.setDraw(true);
		tableInputStepMeta.setLocation(100, 100);

		transMeta.addStep(tableInputStepMeta);

		/*
		4. 定义字段选择器
		 */
		SelectValuesMeta selectValuesMeta = new SelectValuesMeta();
		selectValuesMeta.allocate(2,0,0);

		String[] fields = new String[]{"id","name"};
		selectValuesMeta.setSelectName(fields);
		selectValuesMeta.setSelectRename(fields);

		String selectPluginId = registry.getPluginId(StepPluginType.class, selectValuesMeta);
		StepMeta selectStep = new StepMeta(selectPluginId, "select", (StepMetaInterface) selectValuesMeta);

		//给步骤添加在spoon工具中的显示位置
		selectStep.setDraw(true);
		selectStep.setLocation(100, 200);

		//将步骤添加进去
		transMeta.addStep(selectStep);

		transMeta.addTransHop(new TransHopMeta(tableInputStepMeta, selectStep));

		/*
		5. 定义错误输出
		 */
		TableOutputMeta tableOutputErrorMeta = new TableOutputMeta();
		tableOutputErrorMeta.setDatabaseMeta(destDatabaseMeta);

		//设置目标表的 schema和表名
		tableOutputErrorMeta.setSchemaName(null);
		tableOutputErrorMeta.setTablename("user_info_dest_error");

		String tableOutputErrorPluginId = registry.getPluginId(StepPluginType.class, tableOutputErrorMeta);
		StepMeta tableOutputErrorStep = new StepMeta(tableOutputErrorPluginId, "tableOutputError", (StepMetaInterface) tableOutputErrorMeta);

		//将步骤添加进去
		transMeta.addStep(tableOutputErrorStep);

		//给步骤添加在spoon工具中的显示位置
		tableOutputErrorStep.setDraw(true);
		tableOutputErrorStep.setLocation(300, 300);


		/*
		6. 定义正常输出
		 */
		TableOutputMeta tableOutputMeta = new TableOutputMeta();
		tableOutputMeta.setDatabaseMeta(destDatabaseMeta);

		//设置目标表的 schema和表名
		tableOutputMeta.setSchemaName(null);
		tableOutputMeta.setTablename("user_info_dest");

		String tableOutputPluginId = registry.getPluginId(StepPluginType.class, tableOutputMeta);
		StepMeta tableOutputStep = new StepMeta(tableOutputPluginId, "tableOutput", (StepMetaInterface) tableOutputMeta);

		//将步骤添加进去
		transMeta.addStep(tableOutputStep);

		//给步骤添加在spoon工具中的显示位置
		tableOutputStep.setDraw(true);
		tableOutputStep.setLocation(200, 200);

		StepErrorMeta stepErrorMeta = new StepErrorMeta(null,selectStep,tableOutputErrorStep);
		stepErrorMeta.setEnabled(true);
		selectStep.setStepErrorMeta(stepErrorMeta);
		tableOutputErrorStep.setStepErrorMeta(stepErrorMeta);


		/*
		7. 将步骤关联
		 */
		transMeta.addTransHop(new TransHopMeta(selectStep, tableOutputStep));
		transMeta.addTransHop(new TransHopMeta(selectStep, tableOutputErrorStep));



		String xml = transMeta.getXML();
		System.out.println(xml);


//		Trans trans = new Trans(transMeta);
//
//
//		//执行转换
//		trans.execute(null);
//
//		//等待完成
//		trans.waitUntilFinished();
//		if (trans.getErrors() > 0) {
//			System.out.println("交换出错.");
//			return;
//		}
        
	}

三、扩展

图片说明

             定义一个tableInput和tableOutput，如果插入到tableOutput中数据出错，那么就进入tableOutputError处理。

              源表：

CREATE TABLE `user_info_src` (
  `id` varchar(36) NOT NULL,
  `name` varchar(36) DEFAULT NULL,
  PRIMARY KEY (`id`)
)

        目标表：

CREATE TABLE `user_info_dest` (
  `id` varchar(36) NOT NULL,
  `name` varchar(36) DEFAULT NULL,
  PRIMARY KEY (`id`)
)

        目标表定义了主键，这样第一次执行时，源表数据进入user_info_dest，第二次执行就会主键冲突。

        异常数据表：

CREATE TABLE `user_info_dest_error` (
  `id` varchar(36) NOT NULL,
  `name` varchar(36) DEFAULT NULL
)

        当第二次执行时，插入到user_info_dest中主键冲突，所以就会进入user_info_dest_error中，第一次执行数据是进入user_info_dest中。

完整代码

/**
	 * Mysql之间的交换
	 * @throws KettleException
	 */
	@Test
	public void exchangeMysql2MysqlErrorStep() throws KettleException{
		/*
		1. 源数据库连接
		 */
		String mysql_src = "<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +
				"<connection>" +
				"<name>mysql_src</name>" +
				"<server>192.168.10.64</server>" +
				"<type>MySQL</type>" +
				"<access>Native</access>" +
				"<database>test</database>" +
				"<port>3306</port>" +
				"<username>root</username>" +
				"<password>root</password>" +
				"</connection>";

		/*
		2. 目标数据库连接
		 */
		String mysql_dest = "<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +
				"<connection>" +
				"<name>mysql_dest</name>" +
				"<server>192.168.10.64</server>" +
				"<type>MySQL</type>" +
				"<access>Native</access>" +
				"<database>test</database>" +
				"<port>3306</port>" +
				"<username>root</username>" +
				"<password>root</password>" +
				"</connection>";

		DatabaseMeta srcDatabaseMeta = new DatabaseMeta(mysql_src);
		DatabaseMeta destDatabaseMeta = new DatabaseMeta(mysql_dest);

		//创建转换元信息
		TransMeta transMeta = new TransMeta();
		transMeta.setName("mysql8之间的交换");

		//设置源和目标
		transMeta.addDatabase(srcDatabaseMeta);
		transMeta.addDatabase(destDatabaseMeta);

		/*
		 * 创建  表输入->选择-->表输出/错误输出
		 * 同时将两个步骤连接起来
		 */
		PluginRegistry registry = PluginRegistry.getInstance();

		/*
		3. 表输入
		 */
		TableInputMeta tableInputMeta = new TableInputMeta();
		String tableInputPluginId = registry.getPluginId(StepPluginType.class,
				tableInputMeta);

		tableInputMeta.setDatabaseMeta(srcDatabaseMeta);
		//设置查询条件
		String selectSql = "select id ,name from user_info_src";
		tableInputMeta.setSQL(selectSql);

		StepMeta tableInputStepMeta = new StepMeta(tableInputPluginId,
				"tableInput", (StepMetaInterface) tableInputMeta);

		//给步骤添加在spoon工具中的显示位置
		tableInputStepMeta.setDraw(true);
		tableInputStepMeta.setLocation(100, 100);

		transMeta.addStep(tableInputStepMeta);


		/*
		4. 定义正常输出
		 */
		TableOutputMeta tableOutputMeta = new TableOutputMeta();
		tableOutputMeta.setDatabaseMeta(destDatabaseMeta);

		//设置目标表的 schema和表名
		tableOutputMeta.setSchemaName(null);
		tableOutputMeta.setTablename("user_info_dest");

		String tableOutputPluginId = registry.getPluginId(StepPluginType.class, tableOutputMeta);
		StepMeta tableOutputStep = new StepMeta(tableOutputPluginId, "tableOutput", (StepMetaInterface) tableOutputMeta);

		//将步骤添加进去
		transMeta.addStep(tableOutputStep);
		transMeta.addTransHop(new TransHopMeta(tableInputStepMeta, tableOutputStep));

		//给步骤添加在spoon工具中的显示位置
		tableOutputStep.setDraw(true);
		tableOutputStep.setLocation(200, 200);

		/*
		5. 定义错误输出
		 */
		TableOutputMeta tableOutputErrorMeta = new TableOutputMeta();
		tableOutputErrorMeta.setDatabaseMeta(destDatabaseMeta);

		//设置目标表的 schema和表名
		tableOutputErrorMeta.setSchemaName(null);
		tableOutputErrorMeta.setTablename("user_info_dest_error");

		String tableOutputErrorPluginId = registry.getPluginId(StepPluginType.class, tableOutputErrorMeta);
		StepMeta tableOutputErrorStep = new StepMeta(tableOutputErrorPluginId, "tableOutputError", (StepMetaInterface) tableOutputErrorMeta);

		//将步骤添加进去
		transMeta.addStep(tableOutputErrorStep);
		transMeta.addTransHop(new TransHopMeta(tableOutputStep, tableOutputErrorStep));

		//给步骤添加在spoon工具中的显示位置
		tableOutputErrorStep.setDraw(true);
		tableOutputErrorStep.setLocation(300, 300);

		/*
		6.定义错误数据流输出
		 */
		StepErrorMeta stepErrorMeta = new StepErrorMeta(null,tableOutputStep,tableOutputErrorStep);
		stepErrorMeta.setEnabled(true);
		tableOutputStep.setStepErrorMeta(stepErrorMeta);
		tableOutputErrorStep.setStepErrorMeta(stepErrorMeta);


		/*
		7. 输出xml，在spoon中展示图形化
		 */
		String xml = transMeta.getXML();
		System.out.println(xml);
	}

伟衙内
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kettle技术应用及常见问题处理
12-10
Kettle技术应用及常见问题处理，如：SAP接口调用、webservice接口调用、连接oracle12c等
Kettle 7.1 中文使用手册.docx.zip
06-12
4. **错误处理**：设置错误日志和错误跳过机制，确保数据处理的稳定性。 5. **调试与测试**：使用预览功能检查数据处理效果，调试和优化步骤。 6. **保存与执行**：保存转换和作业，通过Kitchen或Carte进行批处理或...
Kettle（三）数据写入错误如何处理？
king的专栏
01-31 4096
Kettle作为数据治理工具，总是会涉及到数据的搬迁，在原始数据过大、种类过多时写入肯定会出现一些错误（缺少必填项、数据格式错误、主键冲突等等），那么Kettle如何解决？其实Kettle与我们自己写程序的思维不会有本质性的差别，因此我们常见的处理方式基本上都可以得到解决。基本上我们常规的解决办法：阻断执行、忽略错误继续执行、记录错误数据。1.阻断执行Kettle的默认执行方式，不做任何异常处理即为阻断执行逻辑，不做太多赘述。2.忽略错误继续执行。
kettle中定义错误处理
热门推荐
枫的专栏
06-18 2万+
在kettle执行的过程中，如果遇到错误，kettle会停止运行。在某些时候，并不希望kettle停止运行，这时候可以使用错误处理（Step Error Handling）。错误处理允许你配置一个步骤来取代出现错误时停止运行一个转换，出现错误的记录行将会传递给另一个步骤。在Step error handling settings对话框里，需要设置启用错误处理。 下面例子中读取postgres
kettle从入门到精通 第七十三课 ETL之kettle kettle调用http分页接口教程
最新发布
zhangjin1222的博客
06-22 907
1） 这一步很重要，将单条数据变成list，如上一步的totalNum为3，这里会输出[{"paggNum":"2","pageSize":"20"},{"paggNum":"3","pageSize":"20"}]会循环上一步的结果[{"paggNum":"2","pageSize":"20"},{"paggNum":"3","pageSize":"20"}]2）这里的模拟http请求使用的是写日志步骤，具体场景中使用的是http post步骤。4）、循环页码list，单条数据请求http接口。
Kettle学习之错误处理
liuxiang860927的专栏
09-05 1548
在联系
kettle从入门到精通 第三十四课 kettle 错误处理
zhangjin1222的博客
01-28 1434
ERR_NAME` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '错误名称',`ERR_NUM` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '错误行',4、把错误信息入库是个不错的选择，方便后续排查问题且可以根据错误信息表进行邮件预警，如下图所示。
【Kettle】 错误处理
℡華ゞ
11-17 8433
1.新建基本转换控件，这里便于方便，就建了2个 2.鼠标点中你想进行错误处理的控件，右键选择定义错误处理 3.在错误处理页面输入下列信息，诺执行中产生错误则会以下列字段显示 4。制定你计划中在产生错误后的处理步骤，连接选择错误处理步骤，我这里以产生错误什么都不做为例 5.要是你想输出错误日志到数据库中的表中，可以制定表输出错误处理步骤，建错误信息记录到表里面
kettle实例-异常值处理-修补异常值
fxxhmn的博客
10-11 2248
1.通过使用Kettle工具，创建一个转换fill_unusual_value，并添加“表输入”控件、“过滤记录”控件、“空操作（什么也不做）”控件、“设置值为NULL”控件、“合并记录”控件、“替换NULL值”控件、字段选择控件以及Hop跳连接线。在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”，将异常值放在“空操作（什么也不做）”控件中。在“旧数据源：”处的下拉框选择“设置为NULL值”，“新数据源：”处的下拉框选择“空操作（什么也不做）2”；
Kettle，“表输出”控件的“定义错误处理”选项具体操作。
dear_Alice_moon的专栏
01-11 3098
本篇博客主要介绍对“表输出”控件中“定义错误处理”选项的具体操作。 我使用的Kettle工具版本是7.1 . 1、在kettle左侧列表 “输入”列下选择 “自定义常量数据” 控件， 在“输出”列下，选择“表输出”控件、“文本文件输出”控件。依次连线。如图片一所示，图片一中“表输入”与 “err_message_输出”直接含×号的连线，本文接下来会仔细讲解。 ...
Kettle中文文档.zip
08-14
同时，Kettle的并行处理能力、调度功能和错误处理机制也是其核心特性，这些在文档中也会有详尽的阐述。通过深入学习，不仅可以提升数据处理技能，还能为实际项目中的数据集成工作提供有力支持。
kettle遇到的问题和解决方法
09-21
kettle编写遇到的问题和解决方法，性能优化，和文本文件输入中分隔符是不可见字符等问题
kettle使用问题处理汇总整理.rar
05-11
kettle使用问题处理汇总整理
kettle循环导出数据到Excel中
05-24
7. **错误处理**: 不要忘记添加错误处理步骤，如"错误输出"和"邮件通知"，以便在出现问题时能及时收到反馈。 通过这种方式，Kettle不仅能够处理单一的数据导出，还能实现复杂的循环逻辑，如根据业务规则进行数据...
Kettle中文手册3.0用户手册-实战.rar
02-19
作业是Kettle中的高级流程控制结构，它由一系列相互连接的步骤组成，用于实现数据处理的完整流程，包括任务的调度和错误处理。转换则是数据处理的单一操作单元，专注于数据的清洗、转换和加载。在手册中，你会了解到...
使用Kettle报错的解决方法
spcsdn_18785143187的博客
07-20 2万+
1.当你在navicat上面测试数据库连接的时候可以看到数据库连接成功。而在Kettle上面连接同样的库的时候报出一大段错误出来，这时候是不是感觉有点懵逼了。 错误内容如下： 错误连接数据库 [test库] : com.tyky.di.core.exception.XbridgeDatabaseException: Error occured while trying to ...
Kettle——表输出步骤异常处理方式探究
真正的错误是，当你知道应该如何去提高时仍然选择做一名初学者！
01-17 1万+
在使用开源ETL工具Kettle定义转换时，为了保证transformation脚本的健壮性，我们会在关键的步骤上进行异常捕获处理。 kettle工具的transformation中的多数步骤都是支持定义错误处理的。因TableOutput涉及数据库事务，所以本篇文章以TableOutput步骤来探究kettle异常处理的方式。文章中难免错在遗漏和错误之处，敬请谅解。1 测试环境2 普通方
ETL-kettle-自定义错误信息处理
杨杨杨~~的博客
04-04 2208
在kettle执行的过程中，如果遇到错误，kettle会停止运行。在某些时候，并不希望kettle停止运行，这时候可以使用错误处理（Step Error Handling）。错误处理允许你配置一个步骤来取代出现错误时停止运行一个转换，出现错误的记录行将会传递给另一个步骤。 实现步骤: 右键输出控件图标，选择自定义错误处理..， 详情配置...
kettle案例-异常值处理
wt_125的博客
11-26 465
数据清洗
kettle错误数据输出
09-01
您好！关于kettle错误数据输出的问题，我可以给您提供一些帮助。通常情况下，kettle（也称为Pentaho Data Integration）的错误数据输出可以通过以下几种方式来处理： 1. 错误处理步骤（Error Handling Step）：在您的kettle转换（Transformation）中，可以使用错误处理步骤来捕获和处理错误数据。您可以将错误数据导出到目标表或文件中，以便进行后续分析和处理。 2. 错误记录器（Error Logging）：kettle提供了错误记录器组件，您可以将错误数据记录到日志文件中。您可以选择记录所有错误数据，或者只记录特定类型的错误。 3. 错误输出步骤（Error Output Step）：在某些情况下，您可能希望直接将错误数据输出到另一个目标表中，而不是通过错误处理步骤或错误记录器进行处理。您可以在转换中使用错误输出步骤来实现这个目标。 以上是几种常见的处理kettle错误数据输出的方法。根据您的具体需求和场景，您可以选择适合您的方式来处理错误数据。如果您有更详细的问题或具体情况，欢迎继续提问！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值