公司的项目,数据存放在多个平台上,如下图所示:
现在需要每天定时将各个平台上的数据统计出来,,相同用户的数据进行合并,然后存放在一个库中例如上图的cash_loan_admin这个库。
说实话,我当时没什么思路,难道要将所有的数据库中的数据一个一个的取出来,然后再循环,那这样代码就冗余了。然后就再网上找找看,有咩有相类似的需求,然后翻到一篇文章给了我启示,然后一切做起来就非常容易了。
我最终的做法是这样的
①定义一个map,以用户名作为key,用户的数据作为value.
②查询never(一号)平台上当天的所有用户的数据,返回一个List集合
③遍历集合,将每个用户的信息都存放到map中
④利用for循环取出每个平台上的当天的所有用户的数据,核心代码如下。//查询其余九个平台原始数据进行合并 for(int i=2;i<=10;i++) { //切换数据库 DataSourceContextHolder.setDbType(DataSourceContextHolder.DATA_SOURCE_NEVER+i); //查询当天所有用户数据 List<RecruiterClearCount> rClearCounts=recruiterClearCountDao.queryAll(queryMap); DataSourceContextHolder.clearDbType(); }
⑤每从一个平台查出数据后就遍历集合中的数据,然后判断map中是否存在该用户名的key(map的containsKey方法),存在的话,就取出用户的数据进行修改,然后重新放入map中,如果不存在,就直接以用户名作为key,用户数据作为value存入map中
⑥经过上面5步之后,我们的map中存放的数据就是所有平台当天的所有用户数据了。现在我们最终一步就是需要遍历这个map,然后根据用户名和日期去我们最终要存入的库查询,如果存在的话我们就删除或者更新,不存在的话我们就直接插入即可。