kettle 查询数据库写入文件_ETL KETTLE 读取csv文件写入数据库

任务：

将大量CSV文件写入数据库中；可以一张表一个csv文件输入，表输出；但是如果表文件太多，达到100多张表入库；那会写死人的；所以我们可以偷懒一下；采用配合kettle java脚本代码；完成任务；

场景：将下面文件写入数据中：文件名和表名对应关系如下：

文件名 表名

ccs_A_20190101.csv ccs_A

ccs_B_20190101.csv ccs_B

.......

文件格式：

字段1|+|字段2|+|字段3|+|字段4|+|.......|+|字段n

value1|+|Value2|+|value3|+||+|.........|+|valuen

实现：

1 新建一个kettle项目文件 ktr

涉及按钮：获取文件名，CSV文件输入，Java代码，SQL脚本

组合截图：

获取文件名：

CSV文件输入控件

java代码：后面单独放java代码块：

注意重写这两个函数：

/*设置参数变量*/

public void setVariable(String variableName, String variableValue) {

parent.setVariableImpl(variableName, variableValue);

}

/*获取参数变量*/

public String getVariable(String variableName) {

return parent.getVariableImpl(variableName);

}

执行SQL脚本：

涉及JAVA代码：

import java.text.SimpleDateFormat;

import java.util.Date;

import java.util.Calendar;

/*设置参数变量*/

public void setVariable(String variableName, String variableValue) {

parent.setVariableImpl(variableName, variableValue);

}

/*获取参数变量*/

public String getVariable(String variableName) {

return parent.getVariableImpl(variableName);

}

/**修改参数变量：字段内容，表名*/

public String getTableFields(String field,String tablename){

if( "".equals(field) || field==null || "".equals(tablename)|| tablename==null ){

return null;

}

String[] valueArr = field.split("\\|\\+\\|",-1);//采用 -1模式，不去除末尾的空格

StringBuilder sb = new StringBuilder();

for(int i = 0; i< valueArr.length ;i++){

String value = valueArr[i];

sb.append("`").append(value).append("`,");

}

sb.deleteCharAt(sb.length() -1);

sb.append(",data_date,dw_created_time,dw_created_by,dw_updated_time,dw_updated_by");

return sb.toString(); //

}

/*设置表名或参数*/

public void setSelfVariables(String field,String tablename){

if( "".equals(field) || field==null || "".equals(tablename)|| tablename==null ){

return;

}

/**初始化参数*/

if(getVariable("TABLE_NAME") == null || "".equals(getVariable("TABLE_NAME"))){

setVariable("TABLE_NAME","");

setVariable("TABLE_FIELDS","");

setVariable("ROW_NUMBER","");

};

String tableName=getVariable("TABLE_NAME") ;//获取表名

/**表名不相同，就设置第一行，以及表名*/

if(!tableName.equals(tablename)){

setVariable("TABLE_NAME",tablename);

setVariable("TABLE_FIELDS",getTableFields(field,tablename));

setVariable("ROW_NUMBER","0");

}

else{

int row1=Integer.parseInt(getVariable("ROW_NUMBER")) ;

row1++;

setVariable("ROW_NUMBER",""+row1);

}

}

public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException {

if (first) {

first = false;

}

Object[] r = getRow();

if (r == null) {

setOutputDone();

return false;

}

r = createOutputRow(r, data.outputRowMeta.size());

// Get the value from an input field

String filename = get(Fields.In, "filename").getString(r);

if(filename.contains("/"))

filename=filename.substring(filename.lastIndexOf("/")+1,filename.indexOf("2") -1); //排除Linux环境下的：/tmp/ 反斜杠目录

if(filename.contains("\\"))

filename = filename.substring(filename.lastIndexOf("\\")+1,filename.indexOf("2") -1);//排除windows环境下的D:\ 斜杠目录

String tablename = filename;

tablename=tablename+"_detail";

String field = get(Fields.In,"field").getString(r);

/**如果表名相同，就退出 自定义函数*/

setSelfVariables(field,tablename); //自定义函数

String dataDate=getVariable("DATA_DATE","2019-02-23");// 外界传入参数：data_date 第二个参数为默认值：//String getVariable = getVariable(variableName, defaultValue);

String[] valueArr = field.split("\\|\\+\\|",-1);//采用 -1模式，不去除末尾的空格

StringBuilder sb = new StringBuilder();

for(int i = 0; i< valueArr.length ;i++){

String value = valueArr[i];

if(value == null || value.trim().length() == 0){

sb.append("null,");

}else{

sb.append("'");

sb.append(value.replace("'", "\\'"));

sb.append("',");

}

}

sb.deleteCharAt(sb.length() -1);

sb.append(",'"+dataDate+"'");

sb.append(",now(),'同步任务',null,null");

String resultStr = sb.toString();

//logDebug("tableName="+getVariable("TABLE_NAME")+" rowNumber="+ getVariable("ROW_NUMBER")+" resultStr = " + resultStr); //开发打印日志

//logDebug("tableFieldsStr="+getVariable("TABLE_FIELDS"));

get(Fields.Out, "tableName").setValue(r, getVariable("TABLE_NAME"));

get(Fields.Out, "tableFieldsStr").setValue(r, getVariable("TABLE_FIELDS"));

get(Fields.Out, "resultStr").setValue(r, resultStr);

get(Fields.Out, "rowNumber").setValue(r, getVariable("ROW_NUMBER"));

putRow(data.outputRowMeta, r);

return true;

}