kettle数据校验
仰望星空的我
仰望星空,脚踏实地。
展开
-
利用kettle的JS进行ETL数据校验(升级版)
无意中在网上看到一篇文章《利用kettle中的JS来完成ETL数据校验》,挺受启发的,觉得用JS来实现ETL的自动化校验,是个不错的思路。但是这篇文章里给的JS脚本样例确实有待改进,一是让初学者看着不那么清晰,二是扩展性和维护性都较差。于是我做了二次改造,重新编写了脚本,如下: //Script here var strConn = "TestOrcl"; var che...转载 2019-03-15 14:48:21 · 806 阅读 · 0 评论 -
kettle结合js校验规则
常用的js验证数字,电话号码,传真,邮箱,手机号码,邮编,日期JavaScript1、数字function testisNum(object) { var s =document.getElementById(object.id).value; ...转载 2018-08-21 14:00:44 · 3327 阅读 · 0 评论 -
利用kettle中的JS来完成ETL数据校验
最近参与了一个信托行业的BI项目,由于信托业务系统设计的问题,很多都是用户手工录入的数据,也有一些是需要分析的但是用户没有录入的数据,针对这样的数据质量,我们就要在ETL抽取的过程中来对数据流进行校验,今天我们就说一下如何利用ETL开源工具kettle来完成对数据的基础性校验1:非空校验if(INTRUST_FLAG1==null){intrust_flag1_isnull=1;}2...转载 2019-03-15 14:51:13 · 819 阅读 · 0 评论 -
Kettle处理文件导入到数据库,对数据进行相应校验,将校验结果发送邮件
工作中有这样的需求1. 数据规范化:去空格、制表符、换行符、回车符、单引号(中文、英文)、双引号(中文、英文)根据邮箱生成登录名,登录名为@之前的内容2. 数据校验根据集团提供的名单,按照以下几个点校验: 空值:分为姓名、身份证、手机、邮箱 重复:身份证、手机号、登录名、邮箱 合法性校验:手机号11位数字;身份证合法性校验 与系统数据校验: 手机号...转载 2019-03-15 14:53:06 · 1928 阅读 · 0 评论