我们通过两个例子来学习Js处理数据新增行:
例子一字符串拆分
按照原始数据列”aaa bbb ccc ddd”把数据分成4行。
比如我们有原始数据行如下:
id group person
1 A aaa bbb ccc ddd
我们需要获取A组中都有哪些人,则需要对数据进行拆分并生成新的行。
使用代码如下:
var str = person.toString();
var tokens = str.split(" ");
var i;
for (i =0; i<tokens.length; i++)
{
var row = createRowCopy(getOutputRowMeta().size());
var index = getInputRowMeta().size();
row[index]=tokens[i];
putRow(row);
}
trans_Status = SKIP_TRANSFORMATION;
代码说明
person.toString(); 数据行里person列的数据是以空格分隔的一个字符串。如"aaa bbb ccc ddd"
str.split(" "); 把字符串按照空格分为一个字符数组,如上面的例子,就分隔为长度为 4 的数组。
for (i =0; i<tokens.length; i++) 循环tokens
{
createRowCopy(getOutputRowMeta().size()); 使用 createRowCopy 函数创建一个新行,长度是getOutputRowMeta().size()。
index = getInputRowMeta().size(); 根据输入流获得数据行里最后一列的位置。
row[index]=tokens[i]; 把每个 token, 放到每个新创建行的最后一列。
//这里需要特别注意,为什么要获取原数据的长度作为新内容的起始索引呢?
//因为新建的行还是会携带有输入的列的,所以如果使用0开头赋值,则会覆盖掉原列,并且字段名不对应。
putRow(row); 把新创建的行放到输出流中,下一个步骤就可以使用了。
}
trans_Status = SKIP_TRANSFORMATION; 保证原始的数据行"aaa bbb ccc ddd",不会被放入输出流中。 如果不带这一句,则原行还是会输出一行造成重复数据。
通过这个脚本一行数据可以变成四行数据。
例子二Json拆分
按照原始数据列
“[ { “_id” : “360cc8fc4c254b5f950ed663d4a11c0d” , “option” : “是” , “count” : 16.0 , “ratio” : 0.0} , { “_id” : “6fff270a84fd4b3e843e99ca4fd645af” , “option” : “否” , “count” : 10 , “ratio” : 0.0}]”
把数据分成2行。
比如我们有原始数据行如下:
question _id options
你日常是否更喜欢喝红酒? 1 [ { “_id” : “360cc8fc4c254b5f950ed663d4a11c0d” , “option” : “是” , “count” : 16.0 , “ratio” : 0.0} , { “_id” : “6fff270a84fd4b3e843e99ca4fd645af” , “option” : “否” , “count” : 10 , “ratio” : 0.0}]
我们需要获取每个问题中有哪些选项,对Json进行拆分并且新增行。
建立步骤如下:
读取mongodb数据库获取这三个字段作为js代码步骤的输入:
则新建我们需要的5个新字段questionId,question,id,option,index如下:
完整代码如下:
//Alert(options);
if(options){
var optionsJson=JSON.parse(options)
// Alert(optionsJson.length);
if(optionsJson&&optionsJson.length>0){
for(var i=0; i<optionsJson.length; i++)
{
//Alert(" 长度:"+optionsJson.length+" 当前索引:"+i);
var id =optionsJson[i]._id;
var option =optionsJson[i].option;
var row = createRowCopy(7);
row[3]=_id;
row[4]=question;
row[5]=id;
row[6]=option;
row[7]=i;
//Alert(_id+" 问题:"+question+" 选项id:"+id+" 选项:"+option);
//Alert(question);
//Alert(id);
//Alert(option);
putRow(row);
}
}
}
trans_Status = SKIP_TRANSFORMATION;
需要注意的是:
因为输入有三个字段
question,_id,options,分别占据了新行的数组索引0,1,2,所以新字段的列索引从3开始。
trans_Status = SKIP_TRANSFORMATION; 必须加上,否则默认输出原行数据,会有重复的行。