FlinkX配置文件解析

本文详细解析了FlinkX任务的配置文件,包括content部分的reader和writer设置,用于定义数据的输入和输出源,以及setting部分的restore、speed、errorLimit、dirty和log配置,涉及任务恢复、并发控制、错误处理和日志记录等关键参数。示例中展示了从MongoDB到MySQL的数据同步配置。
摘要由CSDN通过智能技术生成

FlinkX配置文件解析

配置文件 (本章节引自官网)

一个完整的Flinkx任务脚本配置包含 content, setting两个部分。content用于配置任务的输入源与输出源,其中包含reader,writer。而setting则配置任务整体的环境设定,其中包含restore,speed,errorLimit,dirty,log。具体如下所示:

{
   
	"job" : {
   
		"content" :[{
   
    	"reader" : {
   
				......
      },
    	"writer" : {
   
				......
			}
    }],
   "setting" : {
   
      "restore" : {
   
        ......
      },
      "speed" : {
   
      	......
      },
      "errorLimit" : {
   
      	......
      },
      "dirty" : {
   
      	......
      },
      "log" : {
   
      	......
      }
    }
	}
}
名称 说明 是否必填
content reader reader插件详细配置
writer writer插件详细配置
setting restore 任务类型及断点续传配置
speed 速率限制
errorLimit 出错控制
dirty 脏数据保存
log 日志记录配置

content配置

reader

reader用于配置数据的输入源,即数据从何而来。具体配置如下所示:

"reader" : {
   
  "name" : "xxreader",
  "parameter" : {
   
		......
  }
}
名称 说明 是否必填
name reader插件名称,具体名称参考各数据源配置文档
parameter 数据源配置参数,具体配置参考各数据源配置文档

writer

writer用于配置数据的输出源,即数据写往何处。具体配置如下所示:

"writer" : {
   
  "name" : "xxwriter",
  
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值