并发实现实例

最新推荐文章于 2023-08-11 11:41:06 发布

xuena_cao

最新推荐文章于 2023-08-11 11:41:06 发布

阅读量293

点赞数

分类专栏：开发文章标签： java 前端 servlet

本文链接：https://blog.csdn.net/xuena_xiaoming/article/details/126380806

版权

开发专栏收录该内容

10 篇文章 0 订阅

订阅专栏

定义自己的并发池

@Component
public class ThreadPoolConfig {

    @Bean(name = "commonThreadPool")
    public ThreadPoolTaskExecutor commonThreadPool() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(6);
        executor.setMaxPoolSize(6);
        executor.setQueueCapacity(30000);
        executor.setKeepAliveSeconds(60);
        executor.setThreadNamePrefix("commonThreadPool");
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        executor.initialize();
        return executor;
    }
}

代码中实际调用：

由于poiinfo是个对象，需要做一定的预处理，先处理为List<Map>形式

考虑tmps可能过大，使用Lists.partition进行分组，每组20000个传入并发

List<Map> tmps = new ArrayList<>();
                while (poiinfo.next()) {
                    Map part = accessToPart.dealGdSwPre(poiinfo); //预处理
                    tmps.add(part);
                }
                logger.info("当前城市共有数据：" + tmps.size());

                List<List<Map>> partition = Lists.partition(tmps, 20000);
                for (List<Map> maps : partition) {
                    threadPoolConfig.commonThreadPool().execute(() -> {
                        int count = atomicInteger.incrementAndGet();
                        if (count % 50000 == 0){
                            logger.info("当前城市已处理：" + count);
                        }
                        String result = null;
                        for (Map maptmp : maps) {
                            try{
                                result = streamCore.streamCore(maptmp); //准聚融流程
//                        result = getAcmpServer.getAcmpServer(part);
                                Map resMap = JSON.parseObject(result);
                                if (!"0".equalsIgnoreCase(resMap.get("status").toString())){
                                    logger.info("当前数据处理失败，具体数据是：" + poiinfo + ", 失败原因是：" + result);
                                }
                            } catch (Exception e){
                                e.printStackTrace();
                                logger.info("当前数据处理失败，具体数据是：" + poiinfo + ", 失败原因是：" + result);
                            }
                        }
                    });
                }