数据同步,即从源数据库发送数据到目标数据库,考虑以下几种场景,涵盖生产生活中的一些应用。
一、独立发送端
源数据库与目标数据库不能直接连通,此时一般将数据同步程序打包成独立jar包,手动登录到远程系统的源数据库,上传jar包。远程发送端独立运行后,发送数据到pulsar。采用flink cdc流式处理,一旦运行,不会停止。如果中间中断,需要断点续传处理。独立的jar包,直接用java命令启动,如:
java ReciveAndSend.main(1)。
二、独立接收端
源数据库与目标数据库不能直接连通,此时一般将数据同步程序打包成独立jar包,登录到本地系统的目标数据库,上传jar包。本地接收端独立运行,接收数据来自pulsar。采用flink cdc流式处理,此时不推荐使用java命令启动,而是使用flink命令启动。
$FLINK_HOME/bin/flink run -d -c com.shandy.xxx.App a/b/c flink-cdc-master.jar
为什么使用Flink,因为可以集群,可以并行,可以可视化监控啊,详后面的flink环境搭建章节。
三、一体化流处理