FlinkX配置文件解析
配置文件 (本章节引自官网)
一个完整的Flinkx任务脚本配置包含 content, setting两个部分。content用于配置任务的输入源与输出源,其中包含reader,writer。而setting则配置任务整体的环境设定,其中包含restore,speed,errorLimit,dirty,log。具体如下所示:
{
"job" : {
"content" :[{
"reader" : {
......
},
"writer" : {
......
}
}],
"setting" : {
"restore" : {
......
},
"speed" : {
......
},
"errorLimit" : {
......
},
"dirty" : {
......
},
"log" : {
......
}
}
}
}
名称 | 说明 | 是否必填 | |
---|---|---|---|
content | reader | reader插件详细配置 | 是 |
writer | writer插件详细配置 | 是 | |
setting | restore | 任务类型及断点续传配置 | 否 |
speed | 速率限制 | 否 | |
errorLimit | 出错控制 | 否 | |
dirty | 脏数据保存 | 否 | |
log | 日志记录配置 | 否 |
content配置
reader
reader用于配置数据的输入源,即数据从何而来。具体配置如下所示:
"reader" : {
"name" : "xxreader",
"parameter" : {
......
}
}
名称 | 说明 | 是否必填 |
---|---|---|
name | reader插件名称,具体名称参考各数据源配置文档 | 是 |
parameter | 数据源配置参数,具体配置参考各数据源配置文档 | 是 |
writer
writer用于配置数据的输出源,即数据写往何处。具体配置如下所示:
"writer" : {
"name" : "xxwriter",