flinkx是袋鼠云基于flink开发的数据同步服务,其核心实现采用插件加载模式(和datax基本一致)实现多常见的适配。
一,安装flink
1,下载flink的压缩包(根据flinkx的版本下载flinx)
2,解压文件
3,配置文件配置
在flink的安装目录下的conf下修改master、slaves、flink-conf.yaml三个文件
注:windows环境安装flink的相关问题
##需要在flink-conf.yaml配置文件中配置如下几个值,不然启动时回报错(值大小根据自己的电脑配置调整)
taskmanager.cpu.cores: 2
taskmanager.memory.task.heap.size: 1024m
taskmanager.memory.managed.size: 256m
##配置network的内存大小,请最大值和最小值配置为一样的值,因为启动的时候network需要一个固定的值
taskmanager.memory.network.min: 64m
taskmanager.memory.network.max: 64m
4,配置环境变量
5,启动服务
6,界面访问服务是否启动 「http://localhost:8081」
二,编译运行flinkx
1,编译flinkx
1.1,调整db2,gbase,dm几个模块的core依赖包处理(应该是商用问题,在仓库很难找到包),调整为jars里面提供的包内容
<scope>system</scope>
<systemPath>${project.basedir}/…/…/jars/gbase8.3.81.53.jar</systemPath>
1.2,编译
2,使用local模式运行
2.1,停掉flink服务
2.2,配置参数
-mode local -job D:/workspace/ytfature/flinkx/flinkconf/mysql2mysql.txt -pluginRoot D:/workspace/ytfature/flinkx/plugins -flinkconf D:/environment/flink/flink-1.7.2/conf -confProp {“flink.checkpoint.interval”:60000}
2.3,启动运行
3,使用standalone模式运行
3.1,把编译打包后的flinkx-launcher-1.6.jar文件放到flink的lib目录下
3.2,启动flink服务
3.3,配置服务
-mode local -job D:/workspace/ytfature/flinkx/flinkconf/mysql2mysql.txt -pluginRoot D:/workspace/ytfature/flinkx/plugins -flinkconf D:/environment/flink/flink-1.7.2/conf -confProp {“flink.checkpoint.interval”:60000}
3.4,启动程序