Streamsets（八）通过JavaScript Evaluator转换数据格式

1、pipeline说明

在通过JDBC Query Consumer读取MySQL存量数据往kafka发送的时候记录值中字段名和字段值以map的形式传递，如下格式：

{
	"id": 3,
	"name": "rr",
	"address": "hefei",
	"age": 28,
	"weight": 102.0,
	"date_created": 1590028341000
}

 

这种格式的数据无法满足下游数据消费方的需求，需要额外加工，因此在JDBC Query Consumer后面跟了一个JavaScript Evaluator进行数据处理，将其封装为如下格式：

{
	"data": [{
		"id": 3,
		"name": "rr",
		"address": "hefei",
		"date_created": "2020-05-21 10:32:21"
	}],
	"type": "INSERT",
	"table": "repair_apply_car"
}

JavaScript Evaluator中先获得由JDBC Query Consumer传递过来的数据，再进行封装，代码如下</