基于Flink CDC实现实时数据采集(一）-接口设计

原创

已于 2022-08-02 19:59:09 修改 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

于 2022-08-02 19:35:29 首次发布

本文介绍了基于Flink CDC实现实时数据采集的接口设计，包括Source端、转换函数和Sink端的接口。详细阐述了参数配置，如并发数、checkpoint设置、数据源类型选择以及各种数据源的特定配置。同时，文章讨论了动态类型支持，并提到了SPI机制用于加载Source、Function和Sink的实现类。

基于Flink CDC实现实时数据采集-接口设计

参数说明
接口设计
动态类型

由于最近公司有需求，需要将oracle数据实时同步到hdfs和olap数据库，当时想到的是flink cdc来实现，但是每一个同步任务都需要写java程序去实现，所有想写一个工具去做，通过参数的方式来灵活配置采集的数据源。

参数说明

{
   
   
   "flinkConf":{
   
   
      "sourceType": "oracle",
      "parallelism":1,
      "checkpointPath":"hdfs://xxxxx",
      "checkpointInterval": 1800000
   },
   "connect":{
   
   
       "ip":"IP地址",
       "port":1521,
       "username":"用户名",
       "password":"",
       "dbName":"wind11",
       "schema":"SCHEMA",
	   "startupMode":"LATEST_OFFSET",
	   "specificOffsetFile":"",
	   "specificOffsetPos":"",
	   "startupTimestampMillis":""
   },
   "tasks":[
     {
   
   
        "tableName":"StringValue",
		"targetType":"starrocks",
        "sourceField":["sField1","sField2","sField3"],
		"targetConfig":{
   
   
			"jdbcUrl":"test",
			"loadUrl":"test",
			"user":"test",
			"password":"",
			"dbName":"test",
			"tableName":"test"
		}
     },
	 {
   
   
        "tableName":"StringValue",
		"targetType":"hdfs",
        "sourceField":["sField1","sField2","sField3"],
		"targetConfig":{
   
   
			"targetPath":"hdfs://xxxxx",
			"partition":true
		}
     }
   ]
}