flinkx二次开发

Flinkx优点：

FlinkX简化了数据同步任务的开发过程，用户只需提供一份数据同步任务的配置，FlinkX会将配置转化为Flink任务，并自动提交到Flink集群上执行。用于在多种数据源（MySQL、Oracle、SqlServer、Ftp、Hdfs,HBase、Hive、Elasticsearch等）之间进行高效稳定的数据同步。

Flinkx缺点：

flinkx启动是通过flinkx 加配置文件的方式启动，项目的需求是可视化采集，需要在界面动态配置，然后提交任务，后台自动启动数据采集，所以要封装rest api层接口。

rest api接口规划：

 

 

 

{
    "job": {
        "setting": {},
        "content": [{
            "reader": {
                "name": "ftpreader",
                "parameter": {
                    "protocol": "sftp",
                    "host": "127.0.0.1",
                    "port": 22,
                    "username": "username",
                    "password": "password",
                    "column": [{
                        "index": 0,
                        "type": "",
                        "value": "value"
                    }],
                    "path": "/upload",
                    "encoding": "UTF-8",
                    "fieldDelimiter": ",",
                    "isFirstLineHeader": true
                }
            },
            "writer": {}
        }]
    }
}