这里是小咸鱼的技术窝(CSDN板块),我又开卷了
之前经手的项目运行了10多年,基于重构,里面有要实现一些诸如签到的需求,以及日历图的展示,可以用将签到信息存到传统的关系型数据库(MySql、Oracle) 然后用 Sql 进行统计、也可以借助 Redis 中的 BitMap来实现签到需求。俩者的区别就在于,一个签到了100万年的项目,你用Mysql无论如何进行分库分表,落地到磁盘的上的数据体量都很大,且查询速度会变慢,但是用 Redis 存储数据占用的内存小,且统计效率更快。当然如果你怕Redis挂,也可以存俩份数据,一份放Mysql一份放Redis,利用 Redis 缓存考勤结果加快查询效率,但是占用的机器磁盘过大的问题还是没解决,下面介绍用 BitMap 如何实现下面这个签到日历。
这个项目的签到用到了海康的人脸识别SDK靠每天进行人脸识别打卡,然后记录签到信息的,就拿手动点击签到来说。整个流程如下。
用户点击签到按钮,发起一个签到请求给我们,先调用 getbit 命令,判断今天有没有进行签到过,没有然后调用 setbit 命令,把签到结果存入 BitMap(期间用户重复点击签到也没事,BitMap多次重复设置值的操作是幂等的)
BitMap 介绍 https://redis.io/commands/bitop/
下面的这段洋文是官网对BitMap的介绍
Bitmaps are not an actual data type, but a set of bit-oriented operations defined on the String type which is treated like a bit vector. Since strings are binary safe blobs and their maximum length is 512 MB, they are suitable to set up to 2^32 different bits.
位图不是实际的数据类型,而是在字符串类型上定义的一组面向位的操作,该操作被视为位向量。由于字符串是二进制安全blob,字符串最大为512 MB,因此它们适合设置为2^32个不同的位。从这段话中我们可以知道,BitMap 其实就是一个二进制的容器,并且他的二进制位最大为 2^32 位(512Mb = 512 * 1024 * 1024 * 8 = 2^32个bit位),当然我们签到只用的到31 bit 位,因此针对于签到需求来说,Bitmap初始结构长这样
0000000000|0000000000|0000000000|0
联想一下我们一个月最大 31 天,1号签到了我们在第一bit位设置为1就好了,同理在第2,3,4,5天签到了,在对应的bit位设置值为1就好了,BitMap是不是很适合签到场景。并且它提供了很多统计API。
SETBIT key offset value:将指定偏移量上的位设置为1或0。
GETBIT key offset:获取指定偏移量上的位的值。
BITCOUNT key start end:计算指定key的Bitmap中1的数量。
BITOP operation destkey key [key...]:对多个key进行位运算,并将结果存储到destkey中。operation可以是AND、OR、XOR、NOT等。
BITPOS key 1 start end:查找指定key的Bitmap中第一个1的偏移量。
BITPOS key 0 start end:查找指定key的Bitmap中第一个0的偏移量。
BITPOS key 0 start:从start的位置开始,查找指定key的Bitmap中第一个0的偏移量。
SET key value:将指定key的Bitmap设置为指定的值。
GET key:获取指定key的Bitmap的值。
//类型u代表无符号十进制,i代表带符号十进制
BITFIELD key get u3 0:从偏移量offset=0开始取3位,获取无符号整数的值,返回的值是一个十进制数
INCRBY u4 4 1:从偏移量offset=4后开始取4位,得到一个对应的二进制数,然后转换成10进制加1
- 利用 bitcount 命令我们可以快速统计出用户,本月签到了多少天
- 利用 setbit 命令我们可以快速记录签到信息
- 利用 getbit 命令我们可以快速判断用户今天是否已经签到
值得注意的是 BITCOUNT key start end 命令中的 start end 指的是 byte 的区间,而 1 byte = 8 bit。那么执行如下命令
bitcount char 0 8的结果是10就不奇怪了,统计范围是 0-8 byte区间,转换成 bit 区间就是 0-64。0-64范围内有 10个1。因此结果是10而不是3!!!!!
签到场景里面一般都不会直接去给Bitmap设置字符串,设置字符串还要去转换成对应的ACSII码然后存入BitMap,而是用 setbit 命令按bit设置值。
注意点二 例如 执行 setbit key 8 1 命令,存储的是 0000000010000000 而不是 000000001,低bit 位会用 0 补齐,因为 byte 是最小的存储单元。这些个个细节要搞清楚哦。
另外BitMap也支持二进制数(与、或运算),平常很少用这个。跟着我大声朗读运算法则,与运算都是1才为1,或运算有1就是1。
mac:0>set a a (01100001)
"OK"
mac:0>set b b (01100010)
"OK"
mac:0>bitop and andres a b (a、b与运算,结果设置到anres)
"1"
mac:0>bitop or orres a b (a、b或运算,结果设置到orres)
BitMap的源码,自行去翻阅redis安装目录下的 src里面的c文件,蹲一个c语言大佬
BitMap签到脚手架
接着用Jedis实现,因为Api命名和原始redis命令很接近。实际开发中合理织入自己的业务逻辑即可。
@Slf4j
@Api(tags = "Bit签到")
@RestController
@RequestMapping("/bit")
public class BitController {
@Autowired
private Jedis jedis;
@ApiOperation("获取签到天数")
@PostMapping("/userSignCount")
public Result userSignCount(@RequestBody RedisRequest redisRequest) {
//相当于执行 bitcount user:sign:uid:yyyyMM 0 31 命令
return Result.success(jedis.bitcount(buildSignKey(redisRequest.getUid(),
getDate(redisRequest.getDateStr())), 0, 31));
}
@ApiOperation("签到/补签")
@PostMapping("/userSign")
public Result sign(@RequestBody RedisRequest redisRequest) {
//日期字符串转Date
Date date = getDate(redisRequest.getDateStr());
//该日期该月的第几天
int offset = DateUtil.dayOfMonth(date) - 1;
//user:sign:uid:yyyyMM
String signKey = buildSignKey(redisRequest.getUid(), date);
Assert.isFalse(jedis.getbit(signKey, offset), "今天以及签到过了");
//相当于执行 setbit user:sign:uid:yyyyMM offset 1 命令
jedis.setbit(signKey, offset, true);
return Result.success(getContinuousSignCount(redisRequest.getUid(), date));
}
/**
* 统计截止日之前连续签到的天数
* @param userId 用户id
* @param date 截止日
* @return
*/
private int getContinuousSignCount(Integer userId, Date date) {
int dayOfMonth = DateUtil.dayOfMonth(date);
//相当于执行 bitfield user:sign:uid:yyyyMM u10 0 命令
List<Long> list = jedis.bitfield(buildSignKey(userId, date), "get", "u" + dayOfMonth, "0");
if (list == null || list.isEmpty()) {
return 0;
}
int signCount = 0;
long v = list.get(0) == null ? 0 : list.get(0);
// i 表示位移操作次数
for (int i = dayOfMonth; i > 0; i--) {
// 右移再左移,如果等于自己说明最低位是 0,表示未签到
if (v >> 1 << 1 == v) {
// 低位 0 且非当天说明连续签到中断了
if (i != dayOfMonth) {
break;
}
} else {
signCount++;
}
// 右移一位并重新赋值,相当于把最低位丢弃一位
v >>= 1;
}
return signCount;
}
private String buildSignKey(Integer userId, Date date) {
return String.format("user:sign:%d:%s", userId,
DateUtil.format(date, "yyyyMM"));
}
/**
* 获取日期
*/
private Date getDate(String dateStr) {
if (StrUtil.isBlank(dateStr)) {
return new Date();
}
try {
return DateUtil.parseDate(dateStr);
} catch (Exception e) {
throw new RuntimeException("请传入yyyy-MM-dd的日期格式");
}
}
}
BitMaq去重
因为字符串最大为512mb,因此可以算出BitMap的最大长度是2的32次方。约42亿个bit位。去重也很简单,就拿我的QQ号去重来说,QQ: 3273448110,在 3273448110 的bit位置上设置为1就好了,同理其他QQ号在自己的Bit位上设置为1,最终统计BitMap有多少个1就得到了,不重复QQ号的个数。
总结
本文涵盖了BitMap从Api使用,到落地到常用场景的上的真实业务体现。以及使用上的注意事项。
这里是小咸鱼的技术窝,用手机扫描下方二维码,阅读更方便