记录一次多线程遍历场景遇到的问题

背景:需要遍历数据库表中所有的用户信息,判断这些用户是否符合某一条件,进行后续操作。

数据信息:用户数据大概在50万左右,字段为id,number,processTime。id格式为日期+序号,如202211221,202211222.......20221122500000

操作逻辑:1、依据id一次从数据库读取100条数据,

                 2、100条数据并行处理完后进行下一次遍历

先把日期截出来,然后序号按照1~50万每100一次循环

//id格式为日期加自增id  202208121 至2022081210086

        String time = new SimpleDateFormat("yyyyMMdd").format(new Date());

        String realBeginIndex = beginIndex.substring(8);

        String realLastIndex = lastIndex.substring(8);

        long beginIndexLong = Long.valueOf(realBeginIndex);

        long lastIndexLong = Long.valueOf(realLastIndex);

        for (long begin = beginIndexLong; begin < lastIndexLong; begin = begin + length) {

            long nextIndex = begin + length;

            //如果本次循环超过最大ID,则遍历至最大ID即可

            if (nextIndex > lastIndexLong) {

                nextIndex = lastIndexLong;

            }

           

            List<users> users = getusersInfo(time + begin, time + String.valueOf(nextIndex));

            

            ExecutorService executorService = Executors.newFixedThreadPool(length);

            CompletionService<String> completionService = new ExecutorCompletionService<String>(executorService);

           

            List<users> usersProcess = new ArrayList<>();

            for (users users : users) {

                

                completionService.submit(new Callable<String>() {

                    public String call() {

                        try {

                           //逻辑处理;

                            logger.info("本次处理信息为" + users.toString());

                        } catch (Exception e) {

                            logger.error("号码信息遍历异常", e);

                        }

                       

                    }

                });

                usersProcess.add(users);

            }

            for (users users : usersProcess) {

                try {

                    completionService.take();

                } catch (Exception e) {

                    logger.error("等待号码遍历信息异常", e);

                }

            }

            executorService.shutdown();

            long forEndTime = System.currentTimeMillis();

           

        }

    经过日志打印,发现数据一致不对,某些轮次耗时特别长。经核实是MySQL语句的问题,在进行id比较时,id为字符类型,MySQL字符类型比较规则如下:

如果两字符串长度相等,那么两字符串就会比较相同位置的字符,比较时若字符是数字,则直接比较,若字符是非数字那么会转换为ascii码进行比较,若在某位置上已经有大小之分,那么就不会再进行比较。

如果判断20221001100<ID<20221001200时,202210011001、2022100110011都会小于20221001200,导致一次查询结果不是100条

  • 24
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值