记录一次问题解决方案

问题描述:

     有两张表,一张表在mongo中数据量在几十万条左右,一张表在oracle中数据量在1W以内,现在要频繁的查询那几十万条数据,然后从中筛选出这几千条数据。

解决方案1 :将oracle中的备案数据存入到redis中,并定时更新,key为id value为基本信息 ,查出所有mongo中的数据然后遍历通过jedis.get("key")方法判断,发现每次访问redis都需要2-3ms如果访问上万次会很慢很慢(好几分钟)。因此此方法启用

解决方案2 :用一个key-value存储,定时查询出oracle中的数据 ,用"ship_record"做key 遍历所有的数据,用StringBuffer拼接所有的字符串,并用"/"分割,做value。判断时,先查出value然后再用Arrays.asList(value.split("/"))将所有的id放到内存中,通过list.contain()做判断。,时间缩短至8-9s

解决方案3 : list.contain()效率太低,改用HashSet存储 new HashSet<String>(Arrays.asList(value.split("/"))).contain()做判断,时间控制在0.1s以内

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值