Kettle处理文件导入到数据库，对数据进行相应校验，将校验结果发送邮件

工作中有这样的需求
1. 数据规范化：
去空格、制表符、换行符、回车符、单引号（中文、英文）、双引号（中文、英文）
根据邮箱生成登录名，登录名为@之前的内容
2. 数据校验
根据集团提供的名单，按照以下几个点校验：
 空值：分为姓名、身份证、手机、邮箱
 重复：身份证、手机号、登录名、邮箱
 合法性校验：手机号11位数字；身份证合法性校验
 与系统数据校验：
 手机号已使用、系统中的身份证为空或者数值与excel中的数值不一致；
 登录名已使用、系统中的身份证为空或者数值与excel中的数值不一致；
完成数据规范化，并将校验通过的数据导入到数据库，将错误的数据导出自动发送邮件。
（1）首先对数据进行规范化，处理的excel第一列id有为空，根据约定，id为空不处理所以增加了过滤记录的操作
流程如下：

（2）
根据写好的SQL完成数据的校验
（SQL的结果集 通过流的 方式 输出到excel里）
流程如下：