背景:需要遍历数据库表中所有的用户信息,判断这些用户是否符合某一条件,进行后续操作。
数据信息:用户数据大概在50万左右,字段为id,number,processTime。id格式为日期+序号,如202211221,202211222.......20221122500000
操作逻辑:1、依据id一次从数据库读取100条数据,
2、100条数据并行处理完后进行下一次遍历
先把日期截出来,然后序号按照1~50万每100一次循环
//id格式为日期加自增id 202208121 至2022081210086
String time = new SimpleDateFormat("yyyyMMdd").format(new Date());
String realBeginIndex = beginIndex.substring(8);
String realLastIndex = lastIndex.substring(8);
long beginIndexLong = Long.valueOf(realBeginIndex);
long lastIndexLong = Long.valueOf(realLastIndex);
for (long begin = beginIndexLong; begin < lastIndexLong; begin = begin + length) {
long nextIndex = begin + length;
//如果本次循环超过最大ID,则遍历至最大ID即可
if (nextIndex > lastIndexLong) {
nextIndex = lastIndexLong;
}
List<users> users = getusersInfo(time + begin, time + String.valueOf(nextIndex));
ExecutorService executorService = Executors.newFixedThreadPool(length);
CompletionService<String> completionService = new ExecutorCompletionService<String>(executorService);
List<users> usersProcess = new ArrayList<>();
for (users users : users) {
completionService.submit(new Callable<String>() {
public String call() {
try {
//逻辑处理;
logger.info("本次处理信息为" + users.toString());
} catch (Exception e) {
logger.error("号码信息遍历异常", e);
}
}
});
usersProcess.add(users);
}
for (users users : usersProcess) {
try {
completionService.take();
} catch (Exception e) {
logger.error("等待号码遍历信息异常", e);
}
}
executorService.shutdown();
long forEndTime = System.currentTimeMillis();
}
经过日志打印,发现数据一致不对,某些轮次耗时特别长。经核实是MySQL语句的问题,在进行id比较时,id为字符类型,MySQL字符类型比较规则如下:
如果两字符串长度相等,那么两字符串就会比较相同位置的字符,比较时若字符是数字,则直接比较,若字符是非数字那么会转换为ascii码进行比较,若在某位置上已经有大小之分,那么就不会再进行比较。
如果判断20221001100<ID<20221001200时,202210011001、2022100110011都会小于20221001200,导致一次查询结果不是100条