8.16 Redis的新数据结构、配置文件及使用

BitsMaps

可以将它想象成一个由0和1构成的数组，数组下标为偏移量

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BCLFD2g7-1629171618227)(D:\Typora\记录\image-20210816194443742.png)]

常用命令：

1. **setbit < key>< offset>< value>**设置Bitmaps中某个偏移量的值(0或1)，偏移量从0开始

   实例：

​ 每个独立用户是否访问过网站存放在Bitmaps中，将访问的用户记做1， 没访问过的记做0，用偏移量表示用户id

​ 假设现在有20个用户，id=1,6,11,15,19的用户对网站进行了访问

​ unique:users:20201106代表2020-11-06这天的独立访问用户的Bitmaps

​ 命令为：

​ setbit unique:users:20210816 1 1

​ setbit unique:users:20210816 6 2

​ …

​ 很多应用的用户id以一个指定数字（例如10000） 开头， 直接将用户id 和Bitmaps的偏移量对应势必会造成一定的浪费， 通常的做法是每次做 setbit操作时将用户id减去这个指定数字。

​ 在第一次初始化Bitmaps时， 假如偏移量非常大， 那么整个初始化过 程执行会比较慢， 可能会造成Redis的阻塞。

2. **getbit < bit>< offset>**获取Bitmaps中某个偏移量的值。

   实例：获取id=8的用户是否在2021-08-16这天访问过

   getbit unique:users:20210816 8

3. bitcount < start> < end>

   统计字符串从start直接到end字节比特值为1的数量，不写则统计全部

   redis的setbit设置的是bit位置，而bitcount计算的是byte位置

   实例： K1 【01000001 01000000 00000000 00100001】，对应【0， 1，2，3】

   bitcount K1 1 2 结果为1

   bitcount K1 1 3 结果为3

   bitcount K1 1 -2 结果为1 -2表示倒数第二个

4. bitop bitop是一个复合操作，可以做多个Bitmaps的and(交集)、or(并集)、xor(异或)

   bitop and/or/not/xor < resultkey> [key…]

当用户较多时，例如1亿用户，每天5000万独立访问，那么用Bitmaps较好，比set节省很多资源

如果一天10万用户访问，用set较好

HyperLoglog

​ 在现实中，常遇到与统计相关的功能实现，例如统计网站首页访问量，可以使用Redis的incr、incrby来实现

​ 但是求访客IP等需要去重和计数的问题如何解决？这种问题称为基数问题

有多种解决方案：

​ MySQL中的distinct count计算不重复个数

​ 使用Redis提供的hash、set、bitmaps等数据结构来处理

以上的方案结果精确，但随着数据不断增加，导致占用空间越来越大，对于非常大的数据集是不切实际的。

能否能够降低一定的精度来平衡存储空间？Redis推出了HyperLogLog

​ Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。

​ 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。

​ 但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。

常用命令：

**pfadd < key>< element>**添加指定元素到HyperLoglog中；如果执行命令后HLL估计的近似基数发生变化，则返回1，否则返回0。

pfcount < key>[key…] 计算HLL的近似基数，可以计算多个HLL，比如用HLL存储每天的独立访客，计算一周的独立访客可以用7天的独立访客合并计算而得。

pfmerge< destkey>< sourcekey> [sourcekey …] 将一个或多个HLL合并后的结果存储在另一个HLL中，比如每月活跃用户可以使用每天的活跃用户来合并计算可得

Geospatial

Redis 3.2 中增加了对GEO类型的支持。GEO，Geographic，地理信息的缩写。该类型，就是元素的2维坐标，在地图上就是经纬度。redis基于该类型，提供了经纬度设置，查询，范围查询，距离查询，经纬度Hash等常见操作。

常用命令：

geoadd< key> < longitude>< latitude>< member> [longitude latitude member…] 添加地理位置（经度，纬度，名称）

geopos < key>< member> [member…] 获得指定地区的坐标值

geodist< key>< member1>< member2> [m|km|ft|mi ] 获取两个位置之间的直线距离

单位：

m 表示单位为米[默认值]。

km 表示单位为千米。

mi 表示单位为英里。

ft 表示单位为英尺。

如果用户没有显式地指定单位参数， 那么 GEODIST 默认使用米作为单位

georadius< key>< longitude>< latitude>radius m|km|ft|mi 以给定的经纬度为中心，找出某一半径内的元素

Redis配置文件介绍

Units单位

配置大小单位,开头定义了一些基本的度量单位，只支持bytes，不支持bit

大小写不敏感

​

INCLUDES包含

类似jsp中的include，多实例的情况可以把公用的配置文件提取出来

网络相关配置

bind

默认情况bind=127.0.0.1只能接受本机的访问请求

不写的情况下，无限制接受任何ip地址的访问

生产环境肯定要写你应用服务器的地址；服务器是需要远程访问的，所以需要将其注释掉

如果开启了protected-mode，那么在没有设定bind ip且没有设密码的情况下，Redis只允许接受本机的响应

保存配置，停止服务，重启启动查看进程，不再是本机访问了。

protected-mode

将本机访问保护模式设置no

Port

端口号，默认 6379

tcp-backlog

设置tcp的backlog，backlog其实是一个连接队列，backlog队列总和=未完成三次握手队列 + 已经完成三次握手队列。

在高并发环境下你需要一个高backlog值来避免慢客户端连接问题。

注意Linux内核会将这个值减小到/proc/sys/net/core/somaxconn的值（128），所以需要确认增大/proc/sys/net/core/somaxconn和/proc/sys/net/ipv4/tcp_max_syn_backlog（128）两个值来达到想要的效果

timeout

一个空闲的客户端维持多少秒会关闭，0表示关闭该功能。即永不关闭。

tcp-keepalive

对访问客户端的一种心跳检测，每个n秒检测一次。

单位为秒，如果设置为0，则不会进行Keepalive检测，建议设置成60

GENERAL通用

daemonize

是否为后台进程，设置为yes

守护进程，后台启动

pidfile

存放pid文件的位置，每个实例会产生一个不同的pid文件

loglevel

指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为notice

四个级别根据使用阶段来选择，生产环境选择notice 或者warning

logfile

日志文件名称

databases 16

设定库的数量 默认16，默认数据库为0，可以使用SELECT 命令在连接上指定数据库id

SECURITY安全

设置密码

访问密码的查看、设置和取消

在命令中设置密码，只是临时的。重启redis服务器，密码就还原了。

永久设置，需要再配置文件中进行设置。

将配置文件中的requirepass xxx注释取消，并将xxx改为自己的密码

设置密码后，再连接需要

1. redis-cli

2. auth xxx

LIMITS限制

maxclients

设置redis同时可以与多少个客户端进行连接。

默认情况下为10000个客户端。

如果达到了此限制，redis则会拒绝新的连接请求，并且向这些连接请求方发出“max number of clients reached”以作回应。

maxmemory

建议必须设置，否则，将内存占满，造成服务器宕机

设置redis可以使用的内存量。一旦到达内存使用上限，redis将会试图移除内部数据，移除规则可以通过maxmemory-policy来指定。

如果redis无法根据移除规则来移除内存中的数据，或者设置了“不允许移除”，那么redis则会针对那些需要申请内存的指令返回错误信息，比如SET、LPUSH等。

但是对于无内存申请的指令，仍然会正常响应，比如GET等。如果你的redis是主redis（说明你的redis有从redis），那么在设置内存使用上限时，需要在系统中留出一些内存空间给同步队列缓存，只有在你设置的是“不移除”的情况下，才不用考虑这个因素。

maxmemory-policy

volatile-lru：使用LRU算法移除key，只对设置了过期时间的键；（最近最少使用）

allkeys-lru：在所有集合key中，使用LRU算法移除key

volatile-random：在过期集合中移除随机的key，只对设置了过期时间的键

allkeys-random：在所有集合key中，移除随机的key

volatile-ttl：移除那些TTL值最小的key，即那些最近要过期的key

noeviction：不进行移除。针对写操作，只是返回错误信息

maxmemory-samples

设置样本数量，LRU算法和最小TTL算法都并非是精确的算法，而是估算值，所以你可以设置样本的大小，redis默认会检查这么多个key并选择其中LRU的那个。

一般设置3到7的数字，数值越小样本越不准确，但性能消耗越小。

应做的配置

1. 将bind=127.0.0.1注释掉 让它接受所有地方的访问请求

2. protected-mode 改为no 关闭本机保护模式，让它支持远程访问

Redis的发布和订阅

有很多频道，客户端可以订阅多个频道，当有人向这个频道中发布信息，信息就会发送给订阅的客户端

• subscribe channel1 订阅频道channel1
• publish channel1 hello 向频道channel1中发布信息 hello

Jedis测试

Jedis是一个客户端工具，就是通过Java操作Redis，是一个Java连接Redis的驱动

1. 引入依赖

<!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>3.6.3</version>
</dependency>

2. 关闭防火墙systemctl stop/disable firewalld.service

   redis.conf中注释掉bind 127.0.0.1， 然后 protected-mode no

   这样就可以远程连接Redis了

3. 创建Jedis，并运行jedis的ping方法进行测试

hash操作：

jedis.hset("hash1","userName","lisi");
System.out.println(jedis.hget("hash1","userName"));
Map<String,String> map = new HashMap<String,String>();
map.put("telphone","13810169999");
map.put("address","atguigu");
map.put("email","abc@163.com");
jedis.hmset("hash2",map);
List<String> result = jedis.hmget("hash2", "telphone","email");
for (String element : result) {
System.out.println(element);
}

list操作：

List<String> list = jedis.lrange("mylist",0,-1);
for (String element : list) {
System.out.println(element);
}

验证码实现

1. 输入手机号，点击发送后随机生成6位数字码，2分钟有效。

   用Random类生成6位数字，把验证码放到redis中，设置过期时间120秒

2. 输入验证码，点击验证，返回成功或失败

   从redis中获取验证码和输入的验证码进行比较

3. 每个手机号每天只能输入3次

   incr 每次发送之后加1

   大于2的时候，提交不能发送

public static void main(String[] args) {
        verifyCode("1234567799");
        getRedisCode("1234567799","960780");
    }

    public static void getRedisCode(String phone,String code){
        Jedis jedis=new Jedis("xxx",6379);
        jedis.auth("xxx");
        String codeKey="Verify"+phone+":code";
        String vcode = jedis.get(codeKey);
        if (vcode.equals(code)){
            System.out.println("验证码正确");
        }else {
            System.out.println("验证码错误");
        }
        jedis.close();
    }

    //将验证码放到Redis中，并设置过期时间，将发送次数页加到Redis中
    public static void verifyCode(String phone){
        Jedis jedis=new Jedis("xxx",6379);
        jedis.auth("xxx");
        //拼接key，保证key唯一
        String countKey="Verify"+phone+":count";
        String codeKey="Verify"+phone+":code";

        //每个手机每天只能发送3次
        String count=jedis.get(countKey);
        if(count==null){//第一次发送
            jedis.setex(countKey,24*60*60,"0");
        }else if(Integer.parseInt(count)<=2){
            //发送次数+1
            jedis.incr(countKey);
        }else if(Integer.parseInt(count)>=3){
            System.out.println("今天发送次数已经到达3次");
        }

        //将验证码放到redis中
        jedis.setex(codeKey,2*60,getCode());

        jedis.close();
    }

    //生成6位验证码
    public static String getCode(){
        StringBuilder code= new StringBuilder();
        Random random=new Random();
        for (int i = 0; i < 6; i++) {
            int rand=random.nextInt(10);
            code.append(rand);
        }
        return code.toString();
    }