Redis——基础篇

我是一名保安

已于 2023-11-16 16:51:54 修改

阅读量119

点赞数

文章标签： redis 数据库缓存

于 2023-08-07 17:24:31 首次发布

本文链接：https://blog.csdn.net/weixin_45286694/article/details/132001476

版权

单线程还是多线程？多线程为什么不阻塞？
干活的是单线程，总体是多线程，因为主线程（也就是干活的线程，执行命令的线程）是单线程的，所以不会阻塞

基础数据类型

写在前面

redis中命令不区分大小写，但是key区分大小写。

对Key的命令

在这里插入图片描述

String类型

常用命令

set key value EX 10 设置10秒过期
set key value NX 键不存在的时候设置键值
set key value XX 键存在的时候设置键值
set key value KEEPTTL 修改key时保留key的过期时间
incr key 递增数字 incrby key 3 指定增加数
decr key 递减数字 decrby key 3 指定减少数

在这里插入图片描述
对于GET参数：在设置key的新value时，可以把旧的value显示出来

对于KEEPTTL参数：在更新key的value值时，可以续接上改key的过期时间，如果不加该参数，则在更新key的value值时，会自动将该key设置为永久有效。

在这里插入图片描述

使用场景

点赞数量，收藏商品数量等
用户id（单点登录）

List

有序可以重复
在这里插入图片描述

常用命令

lpush key v1 v2 v3 将值从左到右插入，v3是list里面的第一个值。插入的顺序与展示的顺序相反。
rpush key v1 v2 v3 将值从右往左插入，v1是list里面的第一个值。插入的顺序与展示的顺序相同，怎么插入怎么展示。
lrange key 0 -1 遍历 key中的数据
llen key list的长度
lpop/rpop 从左边/右边（也就是第一个和最后一个元素）弹出来，该元素也被删除。
lindex key 1 取出list集合里面对应下标

常用命令简介

在这里插入图片描述

具体命令演示

在这里插入图片描述

应用场景：一个key 多个value 的情况下；也可以做分页

例如微信公众号关注，一个用户关注多个博主：

0、在电商系统中，一个用户关注了多少个商品。

1 大V作者和CSDN发布了文章分别是 11 和 22

2 阳哥关注了他们两个，只要他们发布了新文章，就会安装进我的List
lpush likearticle:id 11 22

3 查看阳哥自己的号订阅的全部文章，类似分页，下面0~10就是一次显示10条
lrange likearticle:id 0 9

Hash

KV模式不变，但V是一个键值对。类似于JAVA中的Map<String,Map<object,Object>>，用于存储结构化数据。

常用命令

HSET student:001 name 22 添加元素
hmset student:002 name 19 age 19 score 100 批量添加元素
hget student:002 name 获取指定元素的值
hmget student:002 name age 批量获取指定元素的值
hgetall student:001 获取所有元素的值
hincrby student:001 age 2 对某一个元素加2
hincrbyfloat student:001 age 2.5 对某个元素加2.5
hsetnx student:001 email 1111@qq.com 如果该元素不存在，添加进去，如果存在添加不进去

常用命令简介

在这里插入图片描述

具体命令演示

在这里插入图片描述

应用场景

新增商品 → hset shopcar:uid1024 334488 1

新增商品 → hset shopcar:uid1024 334477 1

增加商品数量 → hincrby shopcar:uid1024 334477 1

商品总数 → hlen shopcar:uid1024

全部选择 → hgetall shopcar:uid1024
在这里插入图片描述

Set

无序不可重复

常用命令

sadd set2 1 2 3 4 5 6 7 8 9 添加元素
smembers set2 遍历元素
sismember set1 2 判断这个元素在不在
srem set1 21 删除某个元素
scard set1 返回元素的总数
srandmember set1 1 随机弹出一个元素，不删除
spop set1 随机弹出一个元素，并删除
sdiff set1 set2 求差集
sunion set1 et2 求并集
sinter set1 set2 求交集

常用命令简介

在这里插入图片描述

常用命令演示

在这里插入图片描述

应用场景

1、抽奖
在这里插入图片描述
2、微信朋友圈点赞，查看同赞朋友

3、QQ内推可能认识的人

Zset

有序的set。在set基础上，每个val值前加一个score分数值。之前set是k1v1 V2 V3 现在zset是k1 score1 v1 score2 v2

常用命令

zadd k1 80 v1 90 v2 100 v3 70 v4 添加元素
zrange k1 0 -1 遍历元素
zrange k1 0 -1 withscores 遍历元素，并展示分数：分数从小到大
zrevrange k1 0 -1 遍历元素，分数从大到小
zrangebyscore k1 70 90 查询70分到90分的元素
zrangebyscore k1 70 90 withscores limit 0 1 查询70分到90分的元素，并分页展示，只显示一条
zrangebyscore k1 (70 90 withscores limit 0 1 查询70分到90分的元素，不包括70分，并分页展示，只显示一条
zscore k1 v1 获取元素的分数
zcard k1 获取元素的个数
zrem k1 v5 删除指定元素
zincrby k1 3 v1 为指定元素增加分数
zcount k1 70 90 获取指定分数区间的元素数量
zrank k1 v1 获取元素下标
zrevrank k1 v2 获取元素逆序下标
ZMPOP 1 k1 min count 1 从一个key，k1中，弹出一个最小值。redis7.0以后的语法

常用命令简介

在这里插入图片描述

常用命令演示

在这里插入图片描述

应用场景

排行榜
在这里插入图片描述

== 以上是五种经典的数据类型，用于各种项目的数据存储。接下来的是用于统计的数据类型。比如：统计打卡用户量，签到，页面访客量等等。这类的数据类型的特点是：存的进，取的快，多种统计方式==

常见的统计类型

聚合统计

聚合统计也就是交并差集和聚合函数的应用。例如：set类型。

排序统计

使用场景：抖音视频最新评论留言的场景，请你设计一个展现列表。考察你的数据结构和设计思路。
设计案例和回答思路：以抖音vcr最新的留言评价为案例，所有评论需要两个功：按照时间排序+分页显示
能够排序+分页显示的redis数据结构是什么合适？答：List和Zset。两个用哪个，为什么用，为什么不用？
如果使用List存储最新评价：
每个商品评价对应一个List集合，这个List包含了对这个商品的所有评论，而且会按照评论时间保存这些评论，每来一个新评论就用LPUSH命令把它插入List的队头。但是，如果在演示第二页前，又产生了一个新评论，第2页的评论不一样了。原因：List是通过元素在List中的位置来排序的，当有一个新元素插入时，原先的元素在List中的位置都后移了一位，原来在第1位的元素现在排在了第2位，当LRANGE读取时，展示给用户的评价页面，应该是展示的那个时刻之前的评论，如果使用List，就会展示实时的最新评论，这样的话就不能完整的分页展示评论。
如果使用过Zset存储就不会产生上述问题
因为Zset是通过分数来决定评价的顺序，可以用时间戳表示分数。在用户分页查询评价时，使用zrangebyscore k3 60 90 limit 0 3，会有一个分数区间，也就是时间区间，来固定本次用户查询的所有评论，此时进来新的评论不会进入到该时间区间，给用户展示的评论列表就不会因新评论的加入而发生改变。

二值统计

集合元素的取值就只有0和1两种。例如：打卡签到，1为签到，0为未签到。此时就可以用：bitmap

基数统计

指统计一个集合中不重复的元素的个数。此时就可以用hyperloglog

bitmap

基础描述

在这里插入图片描述

基本命令

setbit sign:u1:2308 0 1 给key值设置元素，并设置元素的状态：0代表没有，1代表有。记录用户这个月的签到
getbit sign:u1:2308 1 获取给定key的元素的状态。判断这个用户在某一天是否打卡了
bitcount sign:u1:2308 统计这个key中状态表示：1 的总数量。也就是一个用户该月的日签到数
type sign:u1:2308 结果是String，说明bitmap的底层是String类型，get命令获取的是元素对应的二进制的ascii编码对应的值
strlen sign:u1:2308 获取key的字节长度，一个字节是8个比特，一个元素的状态占一个比特，元素超过8个比特会自动扩容
bitop and result sign:u1:2308 sign:u1:2307 找出该用户连续两个月相同号签到的次数，比如：该用户在7月1号签到了，8月1号也签到了

使用场景：签到统计

在这里插入图片描述
签到日历仅展示当月签到数据
签到日历需展示最近连续签到天数
假设当前日期是20210618，且20210616未签到
若20210617已签到且0618未签到，则连续签到天数为1
若20210617已签到且0618已签到，则连续签到天数为2
连续签到天数越多，奖励越大
所有用户均可签到
截至2020年3月31日的12个月，京东年度活跃用户数3.87亿，同比增长24.8%，环比增长超2500万，此外，2020年3月移动端日均活跃用户数同比增长46%假设10%左右的用户参与签到，签到用户也高达3千万。。。。。。o(╥﹏╥)o

解决方案：
①、小厂方法，传统mysql方式

方法正确但是难以落地实现，o(╥﹏╥)o。
签到用户量较小时这么设计能行，但京东这个体量的用户（估算3000W签到用户，一天一条数据，一个月就是9亿数据）
对于京东这样的体量，如果一条签到记录对应着当日用记录，那会很恐怖…

如何解决这个痛点？

1 一条签到记录对应一条记录，会占据越来越大的空间。
2 一个月最多31天，刚好我们的int类型是32位，那这样一个int类型就可以搞定一个月，32位大于31天，当天来了位是1没来就是0。
3 一条数据直接存储一个月的签到记录，不再是存储一天的签到记录。

②、大厂方法，基于Redis的Bitmaps实现签到日历

在签到统计时，每个用户一天的签到用1个bit位就能表示，
一个月（假设是31天）的签到情况用31个bit位就可以，一年的签到也只需要用365个bit位，根本不用太复杂的集合类型

hyperloglog

什么是UV

Unique Visitor，独立访客，一般理解为客户端IP。需要去重考虑。

什么是PV

Page View，页面浏览量。不用去重。

什么是DAU

Daily Active User ，日活跃用户量。登录或者使用了某个产品的用户数(去重复登录的用户)。常用于反映网站、互联网应用或者网络游戏的运营情况

什么是MAU

MonthIy Active User，月活跃用户量。

需求

统计某个网站的UV、统计某个文章的UV
用户搜索网站关键词的数量
统计用户每天搜索不同词条个数

基本描述：去重复统计功能的基数估计算法-就是HyperLogLog

在这里插入图片描述
所谓基数：是一种数据集，去重复后的真实个数。用于统计一个集合中不重复的元素个数，就是对集合去重复后剩余元素的计算。
eg：一个数据集：1，2，2，3，4，5。基数是：1，2，3，4，5

演化

去重复统计你先会想到哪些方式？set，bitmap（因为相同的key只能设置一个）

在大数据量的情况下不适合使用set存储，占用内存比较大。

如果数据显较大亿级统计,使用bitmaps会有这个问题。

bitmap是通过用位bit数组来表示各元素是否出现，每个元素对应一位，所需的总内存为N个bit。
基数计数则将每一个元素对应到bit数组中的其中一位，比如bit数组010010101(按照从零开始下标，有的就是1、4、6、8)。
新进入的元素只需要将已经有的bit数组和新加入的元素进行按位或计算就行。这个方式能大大减少内存占用且位操作迅速。

But，假设一个样本案例就是一亿个基数位值数据，一个样本就是一亿
如果要统计1亿个数据的基数位值,大约需要内存100000000/8/1024/1024约等于12M,内存减少占用的效果显著。
这样得到统计一个对象样本的基数值需要12M。

如果统计10000个对象样本(1w个亿级),就需要117.1875G将近120G，可见使用bitmaps还是不适用大数据量下(亿级)的基数计数场景，

但是bitmaps方法是精确计算的。

面对亿级的基数计数场景，应该使用什么解决办法？
使用HyperLogLog，HyperLogLog是一种概率算法的实现。
通过牺牲准确率来换取空间，对于不要求绝对准确率的场景下可以使用，因为概率算法不直接存储数据本身，
通过一定的概率统计方法预估基数值，同时保证误差在一定范围内，由于又不储存数据故此可以大大节约内存。
HyperLogLog使用原理
HyperLogLog只是进行不重复的基数统计，不是集合也不保存数据，只记录数量而不是具体内容。
缺点是：有误差，牺牲准确率来换取空间，误差仅仅只是0.81%左右。在大的数据量面前这个误差可以接受

基础命令

pfadd k1 1 2 2 3 4 5 6 6 6 6 将所有元素添加到key中，会去重
pfcount k1 计算指定key中的数量
pfmerge result k1 k2 将两个key的元素合并到一个key中，并去重
pfcount result 计算指定key中的数量

实战案例

案例实战总03:天猫网站首页亿级UV的Redis统计方案
需求：UV的统计需要去重，一个用户一天内的多次访问只能算作一次
淘宝、天猫首页的UV，平均每天是1~1.5个亿左右，每天存1.5个亿的IP，访问者来了后，先去查是否存在，不存在加入。

@RestController
@Slf4j
public class HyperLogLogController
{
    @Resource
    private RedisTemplate redisTemplate;

    @ApiOperation("获得IP去重后的首页访问量")
    @RequestMapping(value = "/uv",method = RequestMethod.GET)
    public long uv()
    {
        //pfcount
        return redisTemplate.opsForHyperLogLog().size("hll");
    }

}

@Service
@Slf4j
public class HyperLogLogService
{
    @Resource
    private RedisTemplate redisTemplate;

    /**
     * 模拟后台有用户点击首页，每个用户来自不同ip地址
     */
    @PostConstruct
    public void init()
    {
        log.info("------模拟后台有用户点击首页，每个用户来自不同ip地址");
        new Thread(() -> {
            String ip = null;
            for (int i = 1; i <=200; i++) {
                Random r = new Random();
                ip = r.nextInt(256) + "." + r.nextInt(256) + "." + r.nextInt(256) + "." + r.nextInt(256);

                Long hll = redisTemplate.opsForHyperLogLog().add("hll", ip);
                log.info("ip={},该ip地址访问首页的次数={}",ip,hll);
                //暂停几秒钟线程
                try { TimeUnit.SECONDS.sleep(3); } catch (InterruptedException e) { e.printStackTrace(); }
            }
        },"t1").start();
    }

}

GEO

需求引入

交友软件中附近的小姐姐、外卖软件中附近的美食店铺、打车软件附近的车辆等等，那这种附近各种形形色色的XXX地址位置选择是如何实现的？
地球上的地理位置是使用二维的经纬度表示，经度范围 (-180, 180]，纬度范围 (-90, 90]，只要我们确定一个点的经纬度就可以名曲他在地球的位置。

例如滴滴打车，最直观的操作就是实时记录更新各个车的位置，然后当我们要找车时，在数据库中查找距离我们(坐标x0,y0)附近r公里范围内部的车辆

使用如下SQL即可：
select taxi from position where x0-r < x < x0 + r and y0-r < y < y0+r

但是这样会有什么问题呢？
1.查询性能问题，如果并发高，数据量大这种查询是要搞垮数据库的
2.这个查询的是一个矩形访问，而不是以我为中心r公里为半径的圆形访问。
3.精准度的问题，我们知道地球不是平面坐标系，而是一个圆球，这种矩形计算在长距离计算时会有很大误差

是什么

EGO是redis增加了地理位置的处理。

命令简介

geoadd city 116.403414 39.924092 “故宫” 116.403963 39.915119 “天安门” 往key中添加元素：经度纬度位置名称
geopos city “故宫” “天安门” 获取key指定元素的经纬度位置信息
geodist city “天安门” “故宫” m 获取key中指定两个元素的位置距离。距离参数：m 、km 、ft（英尺）
georadius city 116.418017 39.914402 10 km withdist withcoord count 10 以半径为中心，查找附近的XXX
- 以给定的经纬度为中心，返回键包含的位置元素当中，与中心的距离不超过给定最大距离的所有位置元素。
- WITHDIST: 在返回位置元素的同时，将位置元素与中心之间的距离也一并返回。距离的单位和用户给定的范围单位保持一致。
- WITHCOORD: 将位置元素的经度和维度也一并返回。
- COUNT 限定返回的记录数。
georadiusbymember city “天安门” 10 km withdist withcoord count 10 由元素决定中心点，查找给定半径范围的位置。
geohash city “故宫” “天安门” 获取key指定元素的经纬度的geohash值

在这里插入图片描述
底层存储是使用set存储

案例分析

案例实战总04：美团地图位置附近的酒店推送

 
package com.zzyy.study.controller;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.geo.Distance;
import org.springframework.data.geo.GeoResults;
import org.springframework.data.geo.Metrics;
import org.springframework.data.geo.Point;
import org.springframework.data.geo.Circle;
import org.springframework.data.redis.connection.RedisGeoCommands;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**
 * @auther zzyy
 * @create 2020-11-26 16:48
 */
@RestController
public class GeoController
{
    public  static final String CITY ="city";

    @Autowired
    private RedisTemplate redisTemplate;

    @RequestMapping("/geoadd")
    public String geoAdd()
    {
        Map<String, Point> map= new HashMap<>();
        map.put("天安门",new Point(116.403963,39.915119));
        map.put("故宫",new Point(116.403414 ,39.924091));
        map.put("长城" ,new Point(116.024067,40.362639));

        redisTemplate.opsForGeo().add(CITY,map);

        return map.toString();
    }

    @GetMapping(value = "/geopos")
    public Point position(String member) {
        //获取经纬度坐标
        List<Point> list= this.redisTemplate.opsForGeo().position(CITY,member);
        return list.get(0);
    }

    @GetMapping(value = "/geohash")
    public String hash(String member) {
        //geohash算法生成的base32编码值
        List<String> list= this.redisTemplate.opsForGeo().hash(CITY,member);
        return list.get(0);
    }

    @GetMapping(value = "/geodist")
    public Distance distance(String member1, String member2) {
        Distance distance= this.redisTemplate.opsForGeo().distance(CITY,member1,member2, RedisGeoCommands.DistanceUnit.KILOMETERS);
        return distance;
    }

    /**
     * 通过经度，纬度查找附近的
     * 北京王府井位置116.418017,39.914402
     */
    @GetMapping(value = "/georadius")
    public GeoResults radiusByxy() {
        //这个坐标是北京王府井位置
        Circle circle = new Circle(116.418017, 39.914402, Metrics.KILOMETERS.getMultiplier());
        //返回50条
        RedisGeoCommands.GeoRadiusCommandArgs args = RedisGeoCommands.GeoRadiusCommandArgs.newGeoRadiusArgs().includeDistance().includeCoordinates().sortAscending().limit(50);
        GeoResults<RedisGeoCommands.GeoLocation<String>> geoResults= this.redisTemplate.opsForGeo().radius(CITY,circle, args);
        return geoResults;
    }

    /**
     * 通过地方查找附近
     */
    @GetMapping(value = "/georadiusByMember")
    public GeoResults radiusByMember() {
        String member="天安门";
        //返回50条
        RedisGeoCommands.GeoRadiusCommandArgs args = RedisGeoCommands.GeoRadiusCommandArgs.newGeoRadiusArgs().includeDistance().includeCoordinates().sortAscending().limit(50);
        //半径10公里内
        Distance distance=new Distance(10, Metrics.KILOMETERS);
        GeoResults<RedisGeoCommands.GeoLocation<String>> geoResults= this.redisTemplate.opsForGeo().radius(CITY,member, distance,args);
        return geoResults;
    }
}