问题描述:
有两张表,一张表在mongo中数据量在几十万条左右,一张表在oracle中数据量在1W以内,现在要频繁的查询那几十万条数据,然后从中筛选出这几千条数据。
解决方案1 :将oracle中的备案数据存入到redis中,并定时更新,key为id value为基本信息 ,查出所有mongo中的数据然后遍历通过jedis.get("key")方法判断,发现每次访问redis都需要2-3ms如果访问上万次会很慢很慢(好几分钟)。因此此方法启用
解决方案2 :用一个key-value存储,定时查询出oracle中的数据 ,用"ship_record"做key 遍历所有的数据,用StringBuffer拼接所有的字符串,并用"/"分割,做value。判断时,先查出value然后再用Arrays.asList(value.split("/"))将所有的id放到内存中,通过list.contain()做判断。,时间缩短至8-9s
解决方案3 : list.contain()效率太低,改用HashSet存储 new HashSet<String>(Arrays.asList(value.split("/"))).contain()做判断,时间控制在0.1s以内
记录一次问题解决方案
最新推荐文章于 2022-10-01 17:38:01 发布