Chunjun纯钧(Flinkx)同步任务开发通用配置参数详解

Chunjun纯钧(Flinkx)是一款稳定、易用、高效、批流一体的数据集成框架，目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算，支持JSON模版配置任务，兼容FlinkSQL语法。本文对chunjun同步任务的配置文件进行详细的介绍和总结。

配置文件结构详解

一个完整的ChunJun任务脚本配置包含content，setting两个部分。content用于配置任务的输入源与输出源，其中包含reader，writer。而setting则配置任务整体的环境设定，其中包含speed，errorLimit，metricPluginConf，restore，log，dirty。总体结构如下所示：

{
   
  "job": {
   
    "content": [
      {
   
        "reader": {
   },
        "writer": {
   }
      }
    ],
    "setting": {
   
      "speed": {
   },
      "errorLimit": {
   },
      "metricPluginConf": {
   },
      "restore": {
   },
      "log": {
   },
      "dirty": {
   }
    }
  }
}

名称	说明	是否必填
contend	reader	reader插件详细配置
	writer	writer插件详细配置
setting	speed	速率限制
	errorLimit	出错控制
	metricPluginConf	指标插件配置
	restore	任务类型及断点续传配置
	log	日志记录配置
	dirty	脏数据保存

Content配置

Reader

reader用于配置数据的输入源，即数据从何而来。具体配置如下所示：

"reader" : {