并发实现实例

定义自己的并发池

@Component
public class ThreadPoolConfig {

    @Bean(name = "commonThreadPool")
    public ThreadPoolTaskExecutor commonThreadPool() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(6);
        executor.setMaxPoolSize(6);
        executor.setQueueCapacity(30000);
        executor.setKeepAliveSeconds(60);
        executor.setThreadNamePrefix("commonThreadPool");
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        executor.initialize();
        return executor;
    }
}

代码中实际调用:

由于poiinfo是个对象,需要做一定的预处理,先处理为List<Map>形式

考虑tmps可能过大,使用Lists.partition进行分组,每组20000个传入并发

List<Map> tmps = new ArrayList<>();
                while (poiinfo.next()) {
                    Map part = accessToPart.dealGdSwPre(poiinfo); //预处理
                    tmps.add(part);
                }
                logger.info("当前城市共有数据:" + tmps.size());

                List<List<Map>> partition = Lists.partition(tmps, 20000);
                for (List<Map> maps : partition) {
                    threadPoolConfig.commonThreadPool().execute(() -> {
                        int count = atomicInteger.incrementAndGet();
                        if (count % 50000 == 0){
                            logger.info("当前城市已处理:" + count);
                        }
                        String result = null;
                        for (Map maptmp : maps) {
                            try{
                                result = streamCore.streamCore(maptmp); //准聚融流程
//                        result = getAcmpServer.getAcmpServer(part);
                                Map resMap = JSON.parseObject(result);
                                if (!"0".equalsIgnoreCase(resMap.get("status").toString())){
                                    logger.info("当前数据处理失败,具体数据是:" + poiinfo + ", 失败原因是:" + result);
                                }
                            } catch (Exception e){
                                e.printStackTrace();
                                logger.info("当前数据处理失败,具体数据是:" + poiinfo + ", 失败原因是:" + result);
                            }
                        }
                    });
                }
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值