Redis应用（7）——Redis的项目应用（六，微信小程序的事件处理

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

此时，数据库一直查询某个key，一直查询某个值；

解决方案：让key 永不过期

缓存穿透【重要】

指客户端请求的数据在缓存和数据库中都没有，这样缓存永远不会生效，这些请求都会打到数据库；

如果有人查询100w条数据都打到数据库，数据库就会瘫痪；

穿透的解决方案：布隆过滤器

布隆过滤器，就是一种数据结构，它是由一个长度为m bit的位数组与n个hash函数组成的数据结构，位数组中每个元素的初始值都是0。在初始化布隆过滤器时，会先将所有key进行n次hash运算，这样就可以得到n个位置，然后将这n个位置上的元素改为1。这样，就相当于把所有的key保存到了布隆过滤器中了。

结论：如果布隆过滤器中没有，则一定没有，常用作白名单；

即：布隆过滤器返回值：
如果布隆过滤器返回没有，则结论正确，阻止访问；
如果布隆过滤器返回有，则结论不一定正确；

项目应用：
如果白名单中没有，则对方恶意访问缓存，阻止访问；

问题：如何存储100w纯数字

在连续的空间存储100w个纯数字占用多少内存

package com.tianju.redisDemo.testDemo;

public class BigMapDemo {
public static void main(String[] args) {
int[] a = {1,2,3,4,5,6,7,8,9};
int[] b = new int[1000000]; // 存100w个数字
// 占用空间，1个int占用32 bits空间
System.out.println(32*1000000.0/1024/1024+“MB”);
}
}

int— 32bits
100w x 32bits= 32,000,000(bits)
1kb = 1024 bits;
1M = 1024kb

结论：100w个纯数字占用了30MB的内存；

解决办法，用BigMap，1int，对应32个bits，可以用来表示0~31个数字，如下图所示，可以表示数字1，5；大大节省了空间

布隆过滤器

布隆过滤器（Bloom Filter）本质上是由长度为 m 的位向量或位列表（仅包含 0 或 1 位值的列表）组成，最初所有的值均设置为 0，如下图所示。

为了将数据项添加到布隆过滤器中，会提供 K 个不同的哈希函数，并将结果位置上对应位的值置为 “1”。

如上图所示，当输入 “semlinker” 时，预设的 3 个哈希函数将输出 2、4、6，我们把相应位置 1。假设另一个输入 ”kakuqo“，哈希函数输出 3、4 和 7。你可能已经注意到，索引位 4 已经被先前的 “semlinker” 标记了。此时，我们已经使用 “semlinker” 和 ”kakuqo“ 两个输入值，填充了位向量。当前位向量的标记状态为：

当对值进行搜索时，与哈希表类似，我们将使用 3 个哈希函数对 ”搜索的值“ 进行哈希运算，并查看其生成的索引值。假设，当我们搜索 ”fullstack“ 时，3 个哈希函数输出的 3 个索引值分别是 2、3 和 7：

从上图可以看出，相应的索引位都被置为 1，这意味着我们可以说 ”fullstack“ 可能已经插入到集合中。事实上这是误报的情形，产生的原因是由于哈希碰撞导致的巧合而将不同的元素存储在相同的比特位上。幸运的是，布隆过滤器有一个可预测的误判率（FPP）：

• n 是已经添加元素的数量；
• k 哈希的次数；
• m 布隆过滤器的长度（如比特数组的大小）；

极端情况下，当布隆过滤器没有空闲空间时（满），每一次查询都会返回 true 。这也就意味着 m 的选择取决于期望预计添加元素的数量 n ，并且 m 需要远远大于 n 。

实际情况中，布隆过滤器的长度 m 可以根据给定的误判率（FFP）的和期望添加的元素个数 n 的通过如下公式计算：

了解完上述的内容之后，我们可以得出一个结论，

当我们搜索一个值的时候，

若该值经过 K 个哈希函数运算后的任何一个索引位为 ”0“，那么该值肯定不在集合中。

但如果所有哈希索引值均为 ”1“，则只能说该搜索的值可能存在集合中。

项目应用：布隆过滤器≈白名单

如果布隆过滤器中没有，则一定没有，可以证明没有；

结论：
如果布隆过滤器返回没有，这个结论一定正确；
如果布隆过滤器返回有，这个结论不一定正确；

如果白名单中没有，则对方恶意访问缓存，则不通过，阻止访问；

htool工具包案例

https://www.bookstack.cn/read/hutool-5.6.0-zh

// 初始化
BitMapBloomFilter filter = new BitMapBloomFilter(10);
filter.add(“123”);
filter.add(“abc”);
filter.add(“ddd”);
// 查找
filter.contains(“abc”)

Redis项目应用（六）布隆过滤器—白名单

业务逻辑

后台查询用户，防止穿透缓存到数据库查询用户，导致数据库压力大；

• 预热的时候，用户信息加载到布隆过滤器中；
• 查询业务，比如查询用户时，先用布隆过滤器过滤，再去redis；

以一个根据用户名查询用户是否在数据库中案例为例；

1.先到布隆过滤器中，在controller层解决，拦阻非法请求；
2.通过布隆过滤器，在redis缓存中查找，查询成功返回；
3.通过布隆过滤器，在redis缓存中没找到，查询数据库，查询成功返回，并且更新缓存

布隆过滤器工具类 BitMapBloomFilter

WhiteListBloomFilter.java工具类

package com.tianju.redisDemo.util;

import cn.hutool.bloomfilter.BitMapBloomFilter;

/**
* 白名单的布隆过滤器
*/
public class WhiteListBloomFilter {

// Params: m – M值决定BitMap的大小
private static BitMapBloomFilter bloomFilter = new BitMapBloomFilter(10);

// TODO:布隆过滤器有，缓存没有，需要从数据库查询

/**
* 将str加入布隆过滤器中，作为白名单使用
* @param str
*/
public static void addBloom(String str){
bloomFilter.add(str);
}

/**
* 判断str是否在布隆过滤器中
* @param str
* @return true表示可能在布隆过滤器中；false表示一定不在布隆过滤器中
*/
public static Boolean isInBloom(String str){
return bloomFilter.contains(str);
}
}

缓存预热+布隆过滤器初始化@Scheduled(cron = “0 01 18 * * ?”)

UsernamesPreHot.java缓存预热

package com.tianju.redisDemo.job;

import com.tianju.redisDemo.dao.UserMapper;
import com.tianju.redisDemo.entity.User;
import com.tianju.redisDemo.util.WhiteListBloomFilter;
import lombok.extern.slf4j.Slf4j;
import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.scheduling.annotation.Schedules;
import org.springframework.stereotype.Component;

import javax.annotation.Resource;
import java.util.List;

/**
* 采用 @Scheduled(cron = “0 54 21 * * ?”)进行预热
*/
@Slf4j
@Component
public class UsernamesPreHot {
@Resource
private StringRedisTemplate stringRedisTemplate;

@Resource
private UserMapper userMapper;

@Scheduled(cron = “0 01 18 * * ?”)
public void preHot() {
// 1.清除缓存中的数据
stringRedisTemplate.delete(“usernames”);

// 2.更新缓存中的数据
// 3.也要加入到布隆过滤器中
List userList = userMapper.selectList(null);
// TODO:布隆过滤器有，缓存没有，需要从数据库查询
WhiteListBloomFilter.addBloom(“Arya”);
userList.forEach(user ->{
stringRedisTemplate.opsForSet().add(“usernames”, user.getUsername());
// 放到布隆过滤器中
WhiteListBloomFilter.addBloom(user.getUsername());
}
);
log.debug(“redis缓存预热 + 布隆过滤器预热，usernames”);
}
}

service层：布隆–>缓存–>数据库

package com.tianju.redisDemo.service.impl;

import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.tianju.redisDemo.dao.UserMapper;
import com.tianju.redisDemo.entity.User;
import com.tianju.redisDemo.service.IUserService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;

import java.util.List;
import java.util.Set;
import java.util.stream.Collectors;

@Service
@Transactional
@Slf4j
public class UserServiceImpl implements IUserService {

@Autowired
private UserMapper userMapper;

@Autowired
private StringRedisTemplate stringRedisTemplate;

@Override
public String findByUsername(String username) {
// 1.先到布隆过滤器中，在controller层解决

// 2.然后到redis中

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
stringRedisTemplate;

@Override
public String findByUsername(String username) {
// 1.先到布隆过滤器中，在controller层解决

// 2.然后到redis中

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）
[外链图片转存中…(img-z02Iuxa0-1713358298678)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！