hazelcast Jet :Jdbc执行多个sql 、Jdbc操作并行问题解决方案

1.具体需求

在一条管道里面想要执行多个sql,在sourcesink里面可以分别写一个readFromWriteTo的Jdbc操作,若使用多个JdbcSink进行db操作可以实现,但是我们通过打印出来的流程图观察,其实是有问题的:
在这里插入图片描述
如图所示,这两个jdbcSink分割成了两个分支,可能会导致:两个db操作的sql先后顺序无法保证。
我们想要的是这两个jdbc操作合并到主分支上,并且有先后顺序

2.实现方案

sink在hazelcast jet中的作用就是管道的末端,原则上只能有一个sink操作,我们只能用transforms中做相关db操作

String connectionUrl = getConnectionUrl();
ServiceFactory<?, JDBCServiceImpl> jdbcServiceServiceFactory = ServiceFactories
   .sharedService(ctx -> new JDBCServiceImpl())
   .toNonCooperative();
BatchStage<Stage2> details3 = details2.mapUsingService(jdbcServiceServiceFactory, (service, entity) -> {
   //初始化数据
   service.initIpNvrRelData(connectionUrl, entity);
   return entity;
});

我们需要执行的jdbc操作提取出来放到ServiceFactory中实现
在 initIpNvrRelData() 方法中做多个sql的执行处理,还可以在里面用事务做多个sql的原子性


3.后记

Hazelcast Jet 批处理 官方文档

hazelcast Jet项目流程图查看方式:
项目启动的时候,控制台会打印流程图的digraph DAG日志:
在这里插入图片描述

我们复制这一段代码放到https://viz-js.com/
在这里插入图片描述
就可以看到图形化页面了

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值