当用户需要对接用户信息接口时,可以使用KETTLE进行分页读取用户信息,并更新到对应数据库中,效率高效。
1、首先根据最原始接口获取AccessToken值。此时数据由常量模块提供,可选GET或POST获取数据。
2、获取到的JSON数据可以使用JSON INPUT控件进行解析。
3、通过获取到的access_token值带入下一节点,获取第一个页面的数据,用于确定分页大小及总页数。
4、获取到的分页大小及分页数据后调用JavaScript模块进行数据拼接,并按照行的方式输出。
此时需要注意:
var newRow;
for(i=1;i<=2;i++)
{
var _url = url+'&page='+i;
//把上一行的数据复制下来,并生成新的一行
newRow = createRowCopy(getOutputRowMeta().size());
var rowIndex = getInputRowMeta().size();
//把数组groups的值赋给新增的字段subgroup
newRow[rowIndex] = trim(_url);
//输出新生成的这行数据
putRow(newRow);
}
trans_Status = SKIP_TRANSFORMATION;保证原始的数据行不会被放入输出流中。 如果不带这一句,则原行还是会输出一行造成重复数据。
5、后续将是大众的路线,根据每一行获取每一页的数据信息,并更新到数据库中。第四点实现了分页URL的数据生成,此节点最为重要