flinkx测试环境搭建

flinkx是袋鼠云基于flink开发的数据同步服务,其核心实现采用插件加载模式(和datax基本一致)实现多常见的适配。

一,安装flink
1,下载flink的压缩包(根据flinkx的版本下载flinx)
2,解压文件
3,配置文件配置
在flink的安装目录下的conf下修改master、slaves、flink-conf.yaml三个文件

注:windows环境安装flink的相关问题
##需要在flink-conf.yaml配置文件中配置如下几个值,不然启动时回报错(值大小根据自己的电脑配置调整)
taskmanager.cpu.cores: 2
taskmanager.memory.task.heap.size: 1024m
taskmanager.memory.managed.size: 256m
##配置network的内存大小,请最大值和最小值配置为一样的值,因为启动的时候network需要一个固定的值
taskmanager.memory.network.min: 64m
taskmanager.memory.network.max: 64m

4,配置环境变量
5,启动服务
6,界面访问服务是否启动 「http://localhost:8081」

二,编译运行flinkx
1,编译flinkx
1.1,调整db2,gbase,dm几个模块的core依赖包处理(应该是商用问题,在仓库很难找到包),调整为jars里面提供的包内容
<scope>system</scope>
<systemPath>${project.basedir}/…/…/jars/gbase8.3.81.53.jar</systemPath>

1.2,编译

2,使用local模式运行
2.1,停掉flink服务
2.2,配置参数
-mode local -job D:/workspace/ytfature/flinkx/flinkconf/mysql2mysql.txt -pluginRoot D:/workspace/ytfature/flinkx/plugins -flinkconf D:/environment/flink/flink-1.7.2/conf -confProp {“flink.checkpoint.interval”:60000}
2.3,启动运行

3,使用standalone模式运行
3.1,把编译打包后的flinkx-launcher-1.6.jar文件放到flink的lib目录下
3.2,启动flink服务
3.3,配置服务
-mode local -job D:/workspace/ytfature/flinkx/flinkconf/mysql2mysql.txt -pluginRoot D:/workspace/ytfature/flinkx/plugins -flinkconf D:/environment/flink/flink-1.7.2/conf -confProp {“flink.checkpoint.interval”:60000}
3.4,启动程序

  • 0
    点赞
  • 1
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:编程工作室 设计师:CSDN官方博客 返回首页
评论

打赏作者

戚xq

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值