1、pipeline说明
在通过JDBC Query Consumer读取MySQL存量数据往kafka发送的时候记录值中字段名和字段值以map的形式传递,如下格式:
{
"id": 3,
"name": "rr",
"address": "hefei",
"age": 28,
"weight": 102.0,
"date_created": 1590028341000
}
这种格式的数据无法满足下游数据消费方的需求,需要额外加工,因此在JDBC Query Consumer后面跟了一个JavaScript Evaluator进行数据处理,将其封装为如下格式:
{
"data": [{
"id": 3,
"name": "rr",
"address": "hefei",
"date_created": "2020-05-21 10:32:21"
}],
"type": "INSERT",
"table": "repair_apply_car"
}
JavaScript Evaluator中先获得由JDBC Query Consumer传递过来的数据,再进行封装,代码如下</