kettle中调用python脚本清洗数据并将结果输入到数据库中

本文介绍如何在Kettle数据集成工具中创建一个job,通过调用Python脚本来清洗数据,然后将清洗后的数据存入数据库。首先新建job,接着插入shell步骤来执行Python脚本,再新建转换进行数据处理。最后,需要在数据库中创建目标表,完成整个流程。
摘要由CSDN通过智能技术生成

1、新建job
2、插入shell脚本

	需要设置环境变量,E:\Anaconda3;E:\Anaconda3\Scripts;E:\Anaconda3\Library\bin
	需要添加.py文件默认打开方式为python.exe


3、新建转换

	首先设置变量以便于动态读取时间戳和动态读取excel文件目录;
	在执行sql脚本中需要勾选执行每一行,变量替换,绑定参数?;
	在excel输入中选中的文件的文件/目录下使用${变量},即可取到excel文件名。

在这里插入图片描述
4、在数据库中建表,执行所有步骤即可。

	create TABLESPACE ts_flow_data LOGGING datafile 'E:\ORACLE\T_FLOW_DATA_01.DBF' SIZE 128M 
	AUTOEXTEND ON NEXT 128M MAXSIZE 20G;
	COMMIT;

	CREATE TABLE t_flow_data ( fid NUMBER, fcleandate TIMESTAMP(6), fbizdate TIMESTAMP(6), 
	fcoustomername  NVARCHAR2(255), fmaterialname NVAR
  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
回答: 要在Kettle调用Python脚本,你需要进行以下几个步骤。首先,你需要在Kettle新建一个job,并插入一个shell脚本步骤。在这个步骤,你需要设置环境变量,包括Anaconda3的安装路径和相关的bin目录。例如,你可以设置环境变量为E:\Anaconda3;E:\Anaconda3\Scripts;E:\Anaconda3\Library\bin。此外,你还需要将.py文件的默认打开方式设置为python.exe。\[1\] 另外,如果你遇到了报错,可以尝试以下解决方法。首先,检查Python的安装路径是否正确。默认情况下,Python的安装路径是C:\Users\Administrator\AppData\Local\Programs\Python\Python310。确保你的Python安装路径与此一致。其次,你需要安装所需的Python包。你可以使用pip来安装这些包。如果你的系统没有安装pip,你可以通过以下方法之一来安装它。\[3\] 希望这些信息对你有帮助,如果还有其他问题,请随时提问。 #### 引用[.reference_title] - *1* [kettle调用python脚本清洗数据并将结果输入数据库](https://blog.csdn.net/qq_40929755/article/details/105855251)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [已解决kettle启动Python脚本失败报错问题,亲测有效](https://blog.csdn.net/yuan2019035055/article/details/129238048)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [python(一)用kettlepython脚本实现将地址切分省.市,并将结果输出到数据库。](https://blog.csdn.net/weixin_42227745/article/details/130885063)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值