1-需求背景:有10w个手机号黑名单,每次打车之前,都要校验一下当前用户是否在这个10w个黑名单内,如果在则提示拦截,无法打车,否则放行
2-技术实现分析:
1-将这10w个手机号,放在mysql数据库表中,每次查询都从数据库查询是否存在,在则返回有,否则返回无
2-将这10w个手机号,放在redis缓存中,定义一个searchKey,将手机号拼接成一个大字符串,当value存入,每次通过searchKey来查找,然后通过contains来判断是否存在
以上2中方案被迅速pass,因为手机号越来越多,按照1000个字符=1k,10w=100k,后面越来越多,占用内存空间也就越来越大,查找速度也越来越慢
最新方案
3-采用布隆过滤器,将10w个手机号,使用pipeline方式,遍历的塞入redis,用setBit方法存入,其实存入的是每个手机号的hashCode,然后丢入一个手机号进行匹配,匹配到了则返回有,否则返回无
4-用redis的set,根据手机尾号最后一位,将手机号分成10批,生成10个searchKey,如searchKey1,searchKey2.。。。。searchKey10,然后将10批手机号set当成value,分别存入对应的searchKey下,当判断一个手机号是否存在时,先根据尾号判断在哪一个searchKey,然后再取value来进行判断
以上第3中方案,效率极高,因为存值为bit位图,占用空间很少,且匹配速度极快,但是准确率不足,可能放入的手机号判断不准,因为不同的手机号,得到的hashCode可能一致。如果可以容错则考虑
最终采用第4种方案,能保障准确性,且能最大程度加快匹配速度,最均衡。
具体采用哪一种方案还是要看实际使用场景