从海量手机号中匹配某一个手机号

1-需求背景:有10w个手机号黑名单,每次打车之前,都要校验一下当前用户是否在这个10w个黑名单内,如果在则提示拦截,无法打车,否则放行

2-技术实现分析:

1-将这10w个手机号,放在mysql数据库表中,每次查询都从数据库查询是否存在,在则返回有,否则返回无

2-将这10w个手机号,放在redis缓存中,定义一个searchKey,将手机号拼接成一个大字符串,当value存入,每次通过searchKey来查找,然后通过contains来判断是否存在

以上2中方案被迅速pass,因为手机号越来越多,按照1000个字符=1k,10w=100k,后面越来越多,占用内存空间也就越来越大,查找速度也越来越慢

最新方案

3-采用布隆过滤器,将10w个手机号,使用pipeline方式,遍历的塞入redis,用setBit方法存入,其实存入的是每个手机号的hashCode,然后丢入一个手机号进行匹配,匹配到了则返回有,否则返回无

4-用redis的set,根据手机尾号最后一位,将手机号分成10批,生成10个searchKey,如searchKey1,searchKey2.。。。。searchKey10,然后将10批手机号set当成value,分别存入对应的searchKey下,当判断一个手机号是否存在时,先根据尾号判断在哪一个searchKey,然后再取value来进行判断

以上第3中方案,效率极高,因为存值为bit位图,占用空间很少,且匹配速度极快,但是准确率不足,可能放入的手机号判断不准,因为不同的手机号,得到的hashCode可能一致。如果可以容错则考虑

最终采用第4种方案,能保障准确性,且能最大程度加快匹配速度,最均衡。

具体采用哪一种方案还是要看实际使用场景

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值