2022年6月6日记:Linux服务器开发,Mark老师,海量数据去重的Hash与BloomFilter，bitmap

推荐一个 零声学院 免费公开课程，个人觉得老师讲得不错，分享给大家：[Linux，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK等技术内容，立即学习]
后台服务器：https://course.0voice.com/v1/course/intro?courseId=5&agentId=0
────────────────────────────────────

从海量数据中查询某个字符串是否存在？
脑子中应该构件知识网络，哪里用到二分查找。

平衡二叉树有两点需要注意：

• 存的是具体的元素
• 比较字符串
  负载因子的概念：描述hash函数冲突程度的参数，形容散列表的存储密度。stl的map是0.6，redis是1。负载因子越小，冲突越小；负载因子越大，冲突也就越大。

冲突处理：

• 链表法：
  
  使用头插法的原因是默认刚刚插入的元素也会优先访问，数据库，memchd都选用头插法。
• 开放寻址法
  数组中只放一个元素，先判断槽位中是否有元素，
  
  平衡二叉树和hash的缺点是都要存储具体的元素，所以对于海量数据就非常的棘手。布隆过滤器能够不比较字符串，不存储具体的元素。
  很多开源框架都运用了下面这种取余的方式进行优化。
  
  
  str1经过三次hash后，将槽位置1，但是1是不能知道是str1还是str2所为。
  
  
  
  先确定能不能使用布隆过滤器，然后使用布隆过滤器要预估存储多少元素，再算具体的key。

重点

布隆过滤器如何解决缓存穿透？

• 减轻数据库压力，在server端与mysql间加入缓存来存储热点数据
• 描述缓存穿透，server端请求数据时，缓存和redis都不包含热点数据，最后全部涌入mysql
• 黑客利用漏洞伪造数据攻击或者内部业务bug造成大量重复请求不存在的数据。