redis

已于 2022-02-08 17:58:27 修改
阅读量218 收藏
点赞数
分类专栏： Redis学习笔记 文章标签： redis
于 2022-02-08 17:53:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang862819503/article/details/122826180
版权

Redis

本笔记基于哔哩哔哩“狂神说Java”

一、NoSql概述

什么是NoSql

NoSql

NoSql = Not Only Sql（不仅仅是SQL）

泛指非关系型数据库

关系型数据库：表格，行，列

随着web2.0互联网的诞生，传统的关系型数据库很难对付web2.0时代！尤其是超大规模的高并发的社区！暴露出来很多难以克服的问题，NoSQL在当今大数据环境下发展得十分迅速。

很多的数据类型用户的个人信息，社交网络，地理位置。这些数据类型的存储不需要一个固定的格式，不需要多余的操作就可以横向扩展的。

NoSql特点

  1. 方便扩展（数据之间没有关系，很好扩展）

  2. 大数据量高性能（Redis一秒写8万次，读取11万次，NoSQL的缓存记录级是一种细粒度的缓存，性能会比较高）

  3. 数据类型是多样型的（不需要事先设计数据库，随取随用。如果是数据量十分大的表，很多人就无法设计了）

  4. 传统 RDBMS（关系型数据库） 和 NoSQL

    传统的RDBMS
- 结构化组织
- SQL
- 数据和关系都存在单独的表中    row  col
- 操作，数据定义语言
- 严格的一致性
- 基础的事务
......

    NoSql
- 不仅仅是数据
- 没有固定的查询语言
- 键值对存储，列存储，文档存储，图形数据库（社交关系）
- 最终一致性
- CAP定理  和   BASE（异地多活）
- 高性能，高可用，高可扩
......

了解：3V+3高

大数据时代的3V：主要是描述问题的

  1. 海量Volume
  2. 多样Variety
  3. 实时Velocity

大数据时代的3高：主要是对程序的要求

  1. 高并发
  2. 高可拓
  3. 高性能

真正在公司中的实践：NoSQL + RDBMS

NoSQL的四大分类

KV键值对：

  • 新浪：Redis
  • 美团：Redis + Tair
  • 阿里、百度：Redis + memecache

文档型数据库（bson格式和json一样）：

  • MongoDB（一般必须要掌握）
    • MongoDB是一个基于分布式文件存储的数据库，C++编写，主要用来处理大量的文档
    • MongoDB是一个介于关系型数据库和非关系型数据库中中间的产品
    • MongoDB是非关系型数据库中功能最丰富，最像关系型数据库的
  • ConthDB

列存储数据库

  • HBase
  • 分布式文件系统

图关系数据库

  • 不是存图形的，存的是关系，比如：朋友圈社交网络，广告推荐

二、Redis入门

概述

Redis是什么

Redis（Remote Dictionary Server），即远程字典服务

一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API

Redis能干嘛

  1. 内存存储、持久化，内存中是断电即失的，持久化很重要（rdb、aof）
  2. 效率高，可以用于高速缓存
  3. 发布订阅系统
  4. 地图信息分析
  5. 计时器、计数器（浏览量）
  6. …

特性

  1. 多样的数据类型
  2. 持久化
  3. 集群
  4. 事务
  5. …

Windows安装

  1. 下载安装包Releases · dmajkic/redis (github.com)

  2. 下载完毕得到压缩包

  3. 解压到电脑上的环境目录下
    在这里插入图片描述

  4. 开启Redis，运行服务即可
    在这里插入图片描述

  5. 使用Redis客户端来连接redis
    在这里插入图片描述

Linux安装

  1. 下载安装包

  2. 解压redis安装包 程序一般放到/opt目录下

  3. 进入解压后的文件，可以看到redis的配置文件
    在这里插入图片描述

  4. 基本的环境安装

    yum install gcc-c++

make

make install

在这里插入图片描述

  1. redis的默认安装路径usr/local/bin

  2. 将redis配置文件，复制到当前目录下
    在这里插入图片描述

  3. redis默认不是后台启动的，修改配置文件
    在这里插入图片描述

  4. 启动redis服务
    在这里插入图片描述

  5. 使用redis-cli进行测试连接
    在这里插入图片描述

  6. 查看redis的进程是否开启
    在这里插入图片描述

  7. 如何关闭redis服务 shutdown
    在这里插入图片描述

  8. 再次查看进程是否存在
    在这里插入图片描述

  9. 使用单机多redis启动集群测试

测试性能

redis-benchmark是一个压力测试工具

官方自带的性能测试工具

redis-benchmark 命令参数
在这里插入图片描述

#测试：100个并发连接，100000请求
redis-benchmark -h localhost -p 6379 -c 100 -n 100000

基础知识

redis默认有16个数据库
在这里插入图片描述

默认使用的是第0个数据库

可以使用select进行切换数据库

[root@logpum bin]# redis-cli -p 6379
127.0.0.1:6379> ping
PONG
127.0.0.1:6379> select 3   # 切换数据库
OK
127.0.0.1:6379[3]> dbsize  # 查看数据库大小
(integer) 0
127.0.0.1:6379[3]> keys *  # 查看所有的key
1) "name"

清除当前数据库 flushdb

清除全部数据库内容 flushall

Redis 是单线程的

Redis是很快的，官方表示，Redis是基于内存操作的，CPU不是Redis性能瓶颈，Redis的瓶颈是根据机器的内存和网络带宽，既然可以使用单线程来实现，所以就使用单线程了

Redis 是C语言写的，官方提供的数据为100000+的QPS，完全不比同样是使用key-value的Memecache差

Redis为什么单线程还这么快？

  1. 误区1：高性能的服务器一定是多线程的
  2. 误区2：多线程一定比单线程效率高

核心：redis是将所有的数据全部放在内存中的，所以说使用单线程去操作效率就是最高的，因为多线程需要CPU上下文切换，这是个耗时的操作，对于内存系统来说，如果没有上下文切换，效率就是最高的。多次读写都是在一个CPU上的，内存情况下，这个就是最佳的方案

三、五大数据类型

Redis-Key

127.0.0.1:6379> ping
PONG
127.0.0.1:6379> flushall     # 清空所有数据库
OK
127.0.0.1:6379> keys *    # 查看所有的key
(empty array)
127.0.0.1:6379> set name logpum   # 设置key-value
OK
127.0.0.1:6379> set age 1   # 设置key-value
OK
127.0.0.1:6379> keys *
1) "age"
2) "name"
127.0.0.1:6379> exists name   # 查看“name”这个key是否存在
(integer) 1
127.0.0.1:6379> exists name2
(integer) 0
127.0.0.1:6379> move name 2   # 将“name”这个key-value移到2号数据库
(integer) 1
127.0.0.1:6379> keys *
1) "age"
127.0.0.1:6379> select 2
OK
127.0.0.1:6379[2]> keys *
1) "name"
127.0.0.1:6379[2]> select 0
OK
127.0.0.1:6379> set name logpum
OK
127.0.0.1:6379> clear
127.0.0.1:6379> keys *
1) "age"
2) "name"
127.0.0.1:6379> get name
"logpum"
127.0.0.1:6379> expire name 10   # 设置key的过期时间，单位是秒
(integer) 1
127.0.0.1:6379> ttl name  # 查看key的剩余有效时间
(integer) 4
127.0.0.1:6379> ttl name
(integer) 2
127.0.0.1:6379> get name  # 过期后查不到
(nil)
127.0.0.1:6379> type name   # 查看key的类型
string
127.0.0.1:6379>  type age
string

String

127.0.0.1:6379> flushall    # 清空数据库
OK
127.0.0.1:6379> keys *    # 查看所有的key
(empty array)
127.0.0.1:6379> set key1 v1
OK
127.0.0.1:6379> get key1
"v1"
127.0.0.1:6379> exists key1
(integer) 1
127.0.0.1:6379> append key1 hello   # 在key1对应的value后面追加，如果当前key不存在，则新建一个key
(integer) 7
127.0.0.1:6379> get key1 
"v1hello"
127.0.0.1:6379> strlen key1    # 查看key1对应的value的长度
(integer) 7
127.0.0.1:6379> append key1 ,logpum   # 追加
(integer) 14
127.0.0.1:6379> get key1
"v1hello,logpum"

127.0.0.1:6379> set views 0
OK
127.0.0.1:6379> get views
"0"
127.0.0.1:6379> incr views   # 自增1
(integer) 1
127.0.0.1:6379> get views
"1"
127.0.0.1:6379> decr views  # 自减1
(integer) 0
127.0.0.1:6379> get views
"0"
127.0.0.1:6379> incrby views 10  # 自增10
(integer) 10
127.0.0.1:6379> get views
"10"
127.0.0.1:6379> decrby views 5  # 自减5
(integer) 5


#字符串范围
127.0.0.1:6379> set key1 "hello,logpum"
OK
127.0.0.1:6379> get key1
"hello,logpum"
127.0.0.1:6379> getrange key1 0 4
"hello"
127.0.0.1:6379> getrange key1 0 -1   #获取全部字符串
"hello,logpum"

#字符串替换
127.0.0.1:6379> set key2 abcdefg
OK
127.0.0.1:6379> get key2
"abcdefg"
127.0.0.1:6379> setrange key2 1 xx  #替换指定位置开始的字符串 
(integer) 7
127.0.0.1:6379> get key2
"axxdefg"

# setex（set with exprie）  设置过期时间
# setnx（set if not exist） 不存在再设置（在分布式锁中会常常使用 ）

127.0.0.1:6379> clear
127.0.0.1:6379> setex key3 30 "hello"
OK
127.0.0.1:6379> ttl key3
(integer) 25
127.0.0.1:6379> get key3
"hello"
127.0.0.1:6379> get key3
(nil)
127.0.0.1:6379> setnx mykey "redis"
(integer) 1
127.0.0.1:6379> get mykey
"redis"
127.0.0.1:6379> setnx mykey "linux"
(integer) 0
127.0.0.1:6379> get mykey
"redis"

# 同时设置多个值获取多个值
127.0.0.1:6379> mset k1 v1 k2 v2 k3 v3
OK
127.0.0.1:6379> mget k1 k2 k3
1) "v1"
2) "v2"
3) "v3"
127.0.0.1:6379> keys *
1) "k3"
2) "k2"
3) "k1"
127.0.0.1:6379> msetnx k1 v1 k4 v4   # 一个原子性的操作，要么一起成功，要么一起失败
(integer) 0
127.0.0.1:6379> get k4
(nil)

#设置对象
#方法一
127.0.0.1:6379> set user:1 {name:zhangsan,age:3}
OK
127.0.0.1:6379> get user:1
"{name:zhangsan,age:3}"

#方法二
#这里的key是一个巧妙的设计： user:{id}:{filed}，如此设计在redis中是可以的
127.0.0.1:6379> mset user:2:name lisi user:2:age 4
OK
127.0.0.1:6379> get user:2
(nil)
127.0.0.1:6379> get user:2:name
"lisi"
127.0.0.1:6379> mget user:2:name user:2:age
1) "lisi"
2) "4"


#getset 先get再set

127.0.0.1:6379> getset db redis  # 如果不存在值，则返回nil
(nil)
127.0.0.1:6379> get db
"redis"
127.0.0.1:6379> getset db mongodb  # 如果存在值，获取原来的值，并设置新的值
"redis"
127.0.0.1:6379> get db
"mongodb"

List

基本的数据类型，列表

在redis里面，可以把list玩成栈，队列，阻塞队列

所有的list命令都是用”l“开头的

127.0.0.1:6379> lpush list one   # 将一个或多个值插到列表头部（左）
(integer) 1
127.0.0.1:6379> lpush list two
(integer) 2
127.0.0.1:6379> lpush list three
(integer) 3
127.0.0.1:6379> lrange list 0 -1
1) "three"
2) "two"
3) "one"
127.0.0.1:6379> lrange list 0 1
1) "three"
2) "two"
127.0.0.1:6379> rpush list right  # 将一个或多个值插到列表尾部（右）
(integer) 4
127.0.0.1:6379> lrange list 0 -1
1) "three"
2) "two"
3) "one"
4) "right"

########################################
127.0.0.1:6379> lrange list 0 -1
1) "three"
2) "two"
3) "one"
4) "right"
127.0.0.1:6379> lpop list   # 移除list的第一个元素
"three"
127.0.0.1:6379> lrange list 0 -1
1) "two"
2) "one"
3) "right"
127.0.0.1:6379> rpop list   # 移除list的最后一个元素
"right"
127.0.0.1:6379> lrange list 0 -1
1) "two"
2) "one"

########################################
127.0.0.1:6379> lrange list 0 -1
1) "two"
2) "one"
127.0.0.1:6379> lindex list 0   # 通过下标获取list中的某一个值
"two"
127.0.0.1:6379> lindex list 1
"one"

# 统计list中的元素个数
127.0.0.1:6379> lpush list one
(integer) 1
127.0.0.1:6379> lpush list two
(integer) 2
127.0.0.1:6379> lpush list three
(integer) 3
127.0.0.1:6379> llen list   # 返回列表的长度
(integer) 3


# 移除列表中指定个数的value，精确匹配
127.0.0.1:6379> lrange list 0 -1
1) "three"
2) "three"
3) "two"
4) "one"
127.0.0.1:6379> lrem list 1 one
(integer) 1
127.0.0.1:6379> lrange list 0 -1
1) "three"
2) "three"
3) "two"
127.0.0.1:6379> lrem list 2 three
(integer) 2
127.0.0.1:6379> lrange list 0 -1
1) "two"

# trim裁剪列表  
127.0.0.1:6379> lrange mylist 0 -1
1) "hello0"
2) "hello1"
3) "hello2"
4) "hello3"
127.0.0.1:6379> ltrim mylist 1 2
OK
127.0.0.1:6379> lrange mylist 0 -1
1) "hello1"
2) "hello2"

# rpoplpush  移除列表最后一个元素，并将其移动到新的列表中
127.0.0.1:6379> rpush mylist "hello0"
(integer) 1
127.0.0.1:6379> rpush mylist "hello1"
(integer) 2
127.0.0.1:6379> rpush mylist "hello2"
(integer) 3
127.0.0.1:6379> lrange mylist 0 -1
1) "hello0"
2) "hello1"
3) "hello2"
127.0.0.1:6379> rpoplpush mylist myotherlist
"hello2"
127.0.0.1:6379> lrange mylist 0 -1
1) "hello0"
2) "hello1"
127.0.0.1:6379> lrange myotherlist 0 -1
1) "hello2"

# 将列表指定下标的元素替换，更新操作
127.0.0.1:6379> exists list    # 判断列表是否存在
(integer) 0
127.0.0.1:6379> lset list 0 value    # 如果不存在列表我们去更新就会报错
(error) ERR no such key
127.0.0.1:6379> lpush list value
(integer) 1
127.0.0.1:6379> lrange list 0 0
1) "value"
127.0.0.1:6379> lset list 0 item    # 如果存在，更新当前下标的值
OK
127.0.0.1:6379> lrange list 0 0
1) "item"
127.0.0.1:6379> lset list 1 other    # 不存在则会报错
(error) ERR index out of range、‘、

#linsert 将某个具体value插入到某个元素的前面或者后面
127.0.0.1:6379> rpush list hello
(integer) 1
127.0.0.1:6379> rpush list world
(integer) 2
127.0.0.1:6379> lrange list 0 -1
1) "hello"
2) "world"
127.0.0.1:6379> linsert list before world other
(integer) 3
127.0.0.1:6379> lrange list 0 -1
1) "hello"
2) "other"
3) "world"
127.0.0.1:6379> linsert list after world new 
(integer) 4
127.0.0.1:6379> lrange list 0 -1
1) "hello"
2) "other"
3) "world"
4) "new"

小结

  • 实际上是一个连接，before Node after，left，right都可以插入值
  • 如果key不存在，创建新的链表
  • 如果key存在，新增内容
  • 如果移除了所有值，空链表，也代表不存在
  • 在两边插入或者改动值，效率最高。操作中间元素相对来说效率会低一点

Set（集合）

set中的值是不能重复的

########################################################
127.0.0.1:6379> sadd myset "hello"       # set集合中添加元素
(integer) 1
127.0.0.1:6379> sadd myset "log"
(integer) 1
127.0.0.1:6379> sadd myset "logpum"
(integer) 1
127.0.0.1:6379> smembers myset      # 查看指定set的所有值
1) "logpum"
2) "log"
3) "hello"
127.0.0.1:6379> sismember myset hello    # 判断某一个值是否在集合中
(integer) 1
127.0.0.1:6379> sismember myset world
(integer) 0
127.0.0.1:6379> scard myset    # 获取set集合中的元素个数
(integer) 3

##########################################
srem
127.0.0.1:6379> srem myset hello    # 移除set集合中的指定元素 
(integer) 1
127.0.0.1:6379> scard myset
(integer) 2
127.0.0.1:6379> smembers myset
1) "logpum"
2) "log"


##########################################
set 无序不重复集合，抽随机
127.0.0.1:6379> smembers myset
1) "hello"
2) "logpum"
3) "log"
127.0.0.1:6379> srandmember myset    # 随机抽选出一个元素
"logpum"
127.0.0.1:6379> srandmember myset
"log"
127.0.0.1:6379> srandmember myset 2  # 随机抽选出指定个数的元素
1) "logpum"
2) "hello"
127.0.0.1:6379> srandmember myset 2
1) "log"
2) "logpum"

##########################################
随机移除元素
127.0.0.1:6379> smembers myset
1) "hello"
2) "logpum"
3) "log"
127.0.0.1:6379> spop myset    # 随机删除一些set集合中的元素
"hello"
127.0.0.1:6379> spop myset
"logpum"
127.0.0.1:6379> smembers myset
1) "log"


##########################################
将一个指定的值，移动到另一个set中
127.0.0.1:6379> sadd myset hello
(integer) 1
127.0.0.1:6379> sadd myset world
(integer) 1
127.0.0.1:6379> sadd myset log
(integer) 1
127.0.0.1:6379> sadd myset2 set2
(integer) 1
127.0.0.1:6379> smove myset myset2 log
(integer) 1
127.0.0.1:6379> smembers myset
1) "world"
2) "hello"
127.0.0.1:6379> smembers myset2
1) "set2"
2) "log"

##########################################
微博，B站，共同关注（并集）
数字集合类：
- 差集  sdiff
- 交集  sinter
- 并集  sunion
127.0.0.1:6379> sadd key1 a
(integer) 1
127.0.0.1:6379> sadd key1 b
(integer) 1
127.0.0.1:6379> sadd key1 c
(integer) 1
127.0.0.1:6379> sadd key2 c
(integer) 1
127.0.0.1:6379> sadd key2 d
(integer) 1
127.0.0.1:6379> sadd key2 e
(integer) 1
127.0.0.1:6379> sdiff key1 key2   # 以key1为基准，找出不同于key2的元素
1) "a"
2) "b"
127.0.0.1:6379> sdiff key2 key1
1) "d"
2) "e"
127.0.0.1:6379> sinter key1 key2  # 交集 共同好友，共同关注可用这样实现
1) "c"
127.0.0.1:6379> sunion key1 key2  # 并集
1) "c"
2) "a"
3) "b"
4) "e"
5) "d"

Hash

Map集合，key-map集合

set myhash field value

########################################################
127.0.0.1:6379> hset myhash field1 log    # set一个具体key-value
(integer) 1
127.0.0.1:6379> hget myhash field1   # 获取一个字段值
"log"
127.0.0.1:6379> hmset myhash field1 hello field2 world   # set多个key-value
OK
127.0.0.1:6379> hmget myhash field1 field2   # 获取多个字段值
1) "hello"
2) "world"
127.0.0.1:6379> hgetall myhash    # 获取全部的值
1) "field1"
2) "hello"
3) "field2"
4) "world"
127.0.0.1:6379> hdel myhash field1    # 删除字段值
(integer) 1
127.0.0.1:6379> hgetall myhash
1) "field2"
2) "world"
########################################################

hlen 查看hash中的字段个数
127.0.0.1:6379> hgetall myhash
1) "field2"
2) "world"
3) "field1"
4) "hello"
127.0.0.1:6379> hlen myhash   # 获取hash表的字段数量
(integer) 2

########################################################
判断hash表中某个字段是否存在
127.0.0.1:6379> hexists myhash field1   # 判断hash中指定字段是否存在
(integer) 1
127.0.0.1:6379> hexists myhash field3
(integer) 0


########################################################
# 只获取所有field     hkeys
# 只获取所有value     hvals
127.0.0.1:6379> hkeys myhash   # 获取所有field
1) "field2"
2) "field1"
127.0.0.1:6379> hvals myhash   # 获取所有value
1) "world"
2) "hello"

########################################################
incr   decr
127.0.0.1:6379> hset myhash field3 5    # 指定增量
(integer) 1
127.0.0.1:6379> hincrby myhash field3 1
(integer) 6
127.0.0.1:6379> hincrby myhash field3 -1
(integer) 5
127.0.0.1:6379> hsetnx myhash field4 hello    # 如果不存在则可以设置
(integer) 1
127.0.0.1:6379> hsetnx myhash field4 world    # 如果存在则不能设置
(integer) 0

hash变更的数据，尤其是用户信息之类的，经常变动的信息，hash更适合对象的存储

String更适合字符串的存储

127.0.0.1:6379> hmset user:1 name yang age 18
OK
127.0.0.1:6379> hgetall user:1
1) "name"
2) "yang"
3) "age"
4) "18"
127.0.0.1:6379> hmget user:1 name age
1) "yang"
2) "18"

Zset（有序集合）

在set的基础上，增加了一个值

########################################################
127.0.0.1:6379> zadd myset 1 one   # 添加一个值
(integer) 1
127.0.0.1:6379> zadd myset 2 two 3 three    # 添加多个值
(integer) 2
127.0.0.1:6379> zrange myset 0 -1
1) "one"
2) "two"
3) "three"

########################################################
排序如何实现
127.0.0.1:6379> zadd salary 2500 xiaohong
(integer) 1
127.0.0.1:6379> zadd salary 5000 zhangsan
(integer) 1
127.0.0.1:6379> zadd salary 500 lisi
(integer) 1
127.0.0.1:6379> zrangebyscore salary -inf +inf    # 从小到大排序
1) "lisi"
2) "xiaohong"
3) "zhangsan"
127.0.0.1:6379> zrevrange salary 0 -1     # 从大到小排序
1) "zhangsan"
2) "lisi"
127.0.0.1:6379> zrangebyscore salary -inf 2500  # 在负无穷到2500之间从小到大排序并附上score
1) "lisi"
2) "xiaohong"
127.0.0.1:6379> zrangebyscore salary -inf 2500 withscores
1) "lisi"
2) "500"
3) "xiaohong"
4) "2500"

########################################################
移除元素
127.0.0.1:6379> zrange salary 0 -1
1) "lisi"
2) "xiaohong"
3) "zhangsan"
127.0.0.1:6379> zrem salary xiaohong  # 删除集合中的指定元素
(integer) 1
127.0.0.1:6379> zrange salary 0 -1   
1) "lisi"
2) "zhangsan"
127.0.0.1:6379> zcard salary    # 获取指定集合中的个数
(integer) 2

########################################################
127.0.0.1:6379> zadd myset 1 hello 2 world 3 logpum
(integer) 3
127.0.0.1:6379> zcount myset 1 3    # 获取指定区间的成员数量
(integer) 3
127.0.0.1:6379> zcount myset 2 3
(integer) 2

案例思路：set排序，存储班级成绩表，工资表排序

普通消息 1 重要消息2 带权重进行判断

排行榜应用实现

三种特殊数据类型

geospatial地理位置

朋友的定位，附件的人，打车距离计算

geoadd

# geoadd 添加地理位置
# 规则：地球的两极无法直接添加，我们一般会下载城市数据，直接通过java程序一次性导入
# 参数 key 值（经度，纬度，名称）
127.0.0.1:6379> geoadd china:city 116.40 39.90 beijing
(integer) 1
127.0.0.1:6379> geoadd china:city 121.47 31.23 shanghai
(integer) 1
127.0.0.1:6379> geoadd china:city 106.50 29.53 chongqing
(integer) 1
127.0.0.1:6379> geoadd china:city 114.05 22.52 shenzhen
(integer) 1
127.0.0.1:6379> geoadd china:city 120.16 30.24 hangzhou
(integer) 1
127.0.0.1:6379> geoadd china:city 108.96 34.26 xian
(integer) 1

geopos 获得当前定位

127.0.0.1:6379> geopos china:city beijing
1) 1) "116.39999896287918091"
   2) "39.90000009167092543"
127.0.0.1:6379> geopos china:city beijing chongqing
1) 1) "116.39999896287918091"
   2) "39.90000009167092543"
2) 1) "106.49999767541885376"
   2) "29.52999957900659211"

geodist 返回两个给定位置之间的距离

两人之间的距离

单位：

  • m 表示单位为米
  • km 表示单位为千米
  • mi 表示单位为英里
  • **ft **表示单位为英尺
127.0.0.1:6379> geodist china:city beijing shanghai    # 查看北京到上海的距离，单位为米
"1067378.7564"
127.0.0.1:6379> geodist china:city beijing shanghai km    # 查看北京到上海的直线距离，单位千米
"1067.3788"
127.0.0.1:6379> geodist china:city beijing chongqing km
"1464.0708"

georadius 以给定的经纬度为中心，找出某一半径内的元素

我附近的人？（获得所有附近的人的地址，定位）通过半径来查询

所有的数据都应该录入：china:city

127.0.0.1:6379> georadius china:city 110 30 500 km  # 以100 30经纬度为中心，寻找方圆500km内的城市
1) "chongqing"
2) "xian"
127.0.0.1:6379> georadius china:city 110 30 500 km withcoord  # 显示他人的定位信息
1) 1) "chongqing"
   2) 1) "106.49999767541885376"
      2) "29.52999957900659211"
2) 1) "xian"
   2) 1) "108.96000176668167114"
      2) "34.25999964418929977"
127.0.0.1:6379> georadius china:city 110 30 500 km withdist  # 显示到中心距离的位置
1) 1) "chongqing"
   2) "341.9374"
2) 1) "xian"
   2) "483.8340"
127.0.0.1:6379> georadius china:city 110 30 500 km withcoord withdist count 1  #筛选出指定条件的城市
1) 1) "chongqing"
   2) "341.9374"
   3) 1) "106.49999767541885376"
      2) "29.52999957900659211"
127.0.0.1:6379> georadius china:city 110 30 500 km withcoord withdist count 2
1) 1) "chongqing"
   2) "341.9374"
   3) 1) "106.49999767541885376"
      2) "29.52999957900659211"
2) 1) "xian"
   2) "483.8340"
   3) 1) "108.96000176668167114"
      2) "34.25999964418929977"

georadiusbymember 以元素为中心寻找附近的城市

# 找出位于指定元素周围的其他元素
127.0.0.1:6379> georadiusbymember china:city beijing 1000 km   # 以北京为中心寻找方圆1000km的城市
1) "beijing"
2) "xian"
127.0.0.1:6379> georadiusbymember china:city shanghai 300 km
1) "hangzhou"
2) "shanghai"

geohash 返回一个或多个位置元素

该命令将返回11个字符的Geohash字符串

# 将二维的经纬度转换为一维的字符串，如果两个字符串越接近，则距离越近
127.0.0.1:6379> geohash china:city beijing chongqing
1) "wx4fbxxfke0"
2) "wm5xzrybty0"

GEO 底层的实现原理其实就是Zset，我们可以使用Zset命令操作GEO

127.0.0.1:6379> zrange china:city 0 -1   # 查看地图中全部的元素
1) "chongqing"
2) "xian"
3) "shenzhen"
4) "hangzhou"
5) "shanghai"
6) "beijing"
127.0.0.1:6379> zrem china:city beijing   # 移除指定元素
(integer) 1
127.0.0.1:6379> zrange china:city 0 -1
1) "chongqing"
2) "xian"
3) "shenzhen"
4) "hangzhou"
5) "shanghai"

Hyperloglog

什么是基数？

A{1,3,5,7,8,9,7}

B{1,3,5,7,8}

基数（不重复的元素）= 5，可以接收误差

简介

Redis 2.8.9版本就更新了Hyperloglog数据结构

Redis Hyperloglog 基数统计的算法

优点：占用的内存是固定的，2^64不同的元素的基数，只需要使用12KB的内存

缺点：0.81％的错误率，但对于统计UV任务可以忽略不计

网页的浏览量（一个人访问一个网站多次，但还是算作一个人）

传统的方式：使用set保存用户的id，然后就可以统计set中的元素数量作为标准判断

这个方式如果保存大量的用户id就会比较麻烦，我们的目的是为了计数，而不是保存用户id

测试使用

127.0.0.1:6379> pfadd mykey a b c d e f g h i j    # 创建第一组元素 mykey
(integer) 1
127.0.0.1:6379> pfcount mykey    # 统计 mykey 元素的基数数量
(integer) 10
127.0.0.1:6379> pfadd mykey2 i j z x c v b n m    #  创建第二组元素 mykey2
(integer) 1
127.0.0.1:6379> pfcount mykey2
(integer) 9
127.0.0.1:6379> pfmerge mykey3 mykey mykey2    # 合并两组  mykey mykey2 => mykey3
OK
127.0.0.1:6379> pfcount mykey3   # 看并集的数量
(integer) 15

Bitmap

位存储

只用0和1表示用户

案例：统计用户信息，活跃，不活跃；登录，未登录；打卡

涉及两个状态的，都可以使用Bitmaps

Bitmaps 位图，数据结构，都是操作二进制位来进行记录，只有0和1两个状态

测试

使用bitmap来记录周一到周日的打卡

127.0.0.1:6379> setbit sign 0 1
(integer) 0
127.0.0.1:6379> setbit sign 1 0
(integer) 0
127.0.0.1:6379> setbit sign 2 0
(integer) 0
127.0.0.1:6379> setbit sign 3 1
(integer) 0
127.0.0.1:6379> setbit sign 4 1
(integer) 0
127.0.0.1:6379> setbit sign 5 0
(integer) 0
127.0.0.1:6379> setbit sign 6 0
(integer) 0

查看某一天是否有打卡

127.0.0.1:6379> getbit sign 3
(integer) 1
127.0.0.1:6379> getbit sign 6
(integer) 0

统计操作，统计打卡的天数

127.0.0.1:6379> bitcount sign
(integer) 3

事务

Redis事务本质：一组命令的集合.

一个事务中的所有命令都会被序列化，在事务执行过程中，会按照顺序执行

一次性，顺序性，排他性。执行一序列的命令

--------- 队列  set set set 执行---------

Redis事务没有隔离级别的概念

所有的命令在事务中，并没有直接被执行！只有发起执行命令的时候才会执行

Redis单条命令是保证原子性的，但是事务不保证原子性

Redis的事务：

  • 开启事务（multi）
  • 命令入队（…）
  • 执行事务（exec）

锁：Redis可以实现乐观锁

正常执行事务

127.0.0.1:6379> multi   # 开启事务
OK
# 命令入队
127.0.0.1:6379(TX)> set k1 v1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> get k2
QUEUED
127.0.0.1:6379(TX)> set k3 v3
QUEUED
127.0.0.1:6379(TX)> exec   # 执行事务
1) OK
2) OK
3) "v2"
4) OK

放弃事务

127.0.0.1:6379> multi     # 开启事务
OK
127.0.0.1:6379(TX)> set k1 v1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> set k4 v4
QUEUED
127.0.0.1:6379(TX)> discard    # 取消事务
OK
127.0.0.1:6379> get k4    # 事务队列中命令都不会被执行
(nil)

编译型异常（代码有问题，命令有错），事务中所有的命令都不会被执行

127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> set k1 v1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> set k3 v3
QUEUED
127.0.0.1:6379(TX)> getset k3    # 错误的命令
(error) ERR wrong number of arguments for 'getset' command
127.0.0.1:6379(TX)> set k4 v4
QUEUED
127.0.0.1:6379(TX)> set k5 v5
QUEUED
127.0.0.1:6379(TX)> exec    # 执行事务报错
(error) EXECABORT Transaction discarded because of previous errors.
127.0.0.1:6379> get k5     # 所有的命令都不会被执行 
(nil)

运行时异常（1/0），如果事务队列中存在语法性错误，那么执行命令的时候，其他命令是可以正常执行的，错误命令抛出异常

127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> incr k1   # 执行的时候失败
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> set k3 v3
QUEUED
127.0.0.1:6379(TX)> get k3
QUEUED
127.0.0.1:6379(TX)> exec
1) (error) ERR value is not an integer or out of range   # 虽然第一条命令报错了，但是依旧正常执行成功了
2) OK
3) OK
4) "v3"
127.0.0.1:6379> get k2
"v2"
127.0.0.1:6379> get k3
"v3"

监控 Watch

悲观锁：

  • 认为什么时候都会出问题，无论做什么都会加锁

乐观锁：

  • 认为什么时候都不会出问题，所以不会上锁，更新数据的时候去判断一下，在此期间是否有人修改过这个数据
  • 获取version
  • 更新的时候比较version

Redis测监视测试

正常执行成功

127.0.0.1:6379> set money 100
OK
127.0.0.1:6379> set out 0
OK
127.0.0.1:6379> watch money   # 监视money对象
OK
127.0.0.1:6379> multi   # 事务正常结束，数据期间没有发生变动，这个时候就正常执行成功
OK
127.0.0.1:6379(TX)> decrby money 20
QUEUED
127.0.0.1:6379(TX)> incrby out 20
QUEUED
127.0.0.1:6379(TX)> exec
1) (integer) 80
2) (integer) 20

测试多线程修改值，使用watch可以当作redis的乐观锁操作

127.0.0.1:6379> watch money   # 监视money
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> decrby money 10
QUEUED
127.0.0.1:6379(TX)> incrby out 10
QUEUED
127.0.0.1:6379(TX)> exec  # 执行之前，另外一个线程，修改了我们的值，这个时候就会导致事务执行失败
(nil)

如果执行失败，获取最新的值即可

127.0.0.1:6379> unwatch    # 如果事务执行失败，就先解锁
OK
127.0.0.1:6379> watch money    # 获取最新的值，再次监视
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> decrby money 10
QUEUED
127.0.0.1:6379(TX)> incrby out 10
QUEUED
127.0.0.1:6379(TX)> exec  # 比对监视的值是否发生了变化，如果没有变化则执行成功
1) (integer) 990
2) (integer) 20

Jedis

我们要使用Java来操作Redis

什么是Jedis Redis官方推荐的java连接开发工具！使用Java操作Redis中间件！如果你要使用java操作redis，那么一定要对Jedis很熟悉

测试

  1. 导入对应的依赖

        <dependencies>
        <!--导入jedis-->
        <!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>3.6.3</version>
        </dependency>

        <!--导入fastjson-->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.47</version>
        </dependency>
    </dependencies>

  2. 编码测试：

    • 连接数据库
    • 操作命令
    • 断开连接
    public class TestPing {
    public static void main(String[] args) {
        //1. 创建Jedis对象
        Jedis jedis = new Jedis("127.0.0.1", 6379);
        //2. Jedis所有的方法就是Redis中的命令
        System.out.println(jedis.ping());
    }
}

SpringBoot整合Redis

说明：在SpringBoot2.x之后，原来使用的jedis被替换为lettuce

Jedis：采用的是直连方式，多个线程操作的话，是不安全的，如果想要避免不安全，就要使用jedis pool连接池，更像BIO模式

lettuce：采用netty，实例可以在多个线程中进行共享，不存在线程不安全的情况。可以减少线程数据，更像NIO模式

源码分析：

@Bean
//不存在这个类才生效，说明我们可以自己定义一个RedisTemplate类来替换这个
@ConditionalOnMissingBean(name = "redisTemplate")
@ConditionalOnSingleCandidate(RedisConnectionFactory.class)
public RedisTemplate<Object, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) {
    //默认的 RedisTemplate，没有过多的设置，redis对象都是需要序列化的
    //两个泛型都是Object类型，我们使用需要强制转换
    RedisTemplate<Object, Object> template = new RedisTemplate<>();
    template.setConnectionFactory(redisConnectionFactory);
    return template;
}

@Bean
//由于String是redis中最常用的类型，所以说单独提出来了一个bean
@ConditionalOnMissingBean
@ConditionalOnSingleCandidate(RedisConnectionFactory.class)
public StringRedisTemplate stringRedisTemplate(RedisConnectionFactory redisConnectionFactory) {
    StringRedisTemplate template = new StringRedisTemplate();
    template.setConnectionFactory(redisConnectionFactory);
    return template;
}

整合测试

  1. 导入依赖

    <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

  2. 配置连接

    spring.redis.host=8.130.167.211
spring.redis.port=6379
spring.redis.password=xxxxxxxx

  3. 测试

    @SpringBootTest
class Redis02SpringbootApplicationTests {

    @Autowired
    private RedisTemplate redisTemplate;

    @Test
    void contextLoads() {
        //redisTemplate
        //opsForValue        操作字符串，类似String
        //opsForList         操作List，类似List
        //opsForSet
        //......

        //除了基本的操作，我们常用的方法都可以直接通过redisTemplate操作，比如事务，和基本的CRUD
        //获取redis的连接对象
//        RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
//        connection.flushDb();
//        connection.flushAll();

        redisTemplate.opsForValue().set("mykey","javaStudy");
        System.out.println(redisTemplate.opsForValue().get("mykey"));
    }

}

在这里插入图片描述在这里插入图片描述

关于对象的保存：
在这里插入图片描述

自定义RedisTemplate类：

导入依赖（ObjectMapper类）：

        <!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-databind -->
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.9.5</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-core -->
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>2.9.5</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-annotations -->
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-annotations</artifactId>
            <version>2.9.5</version>
        </dependency>

@Configuration
public class RedisConfig {

    /**
     * 自己定义的RedisTemplate
     * @param redisConnectionFactory
     * @return
     */
    @Bean
    @SuppressWarnings("all")
    public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) {
        RedisTemplate<String, Object> template = new RedisTemplate<>();
        template.setConnectionFactory(redisConnectionFactory);
        //json序列化配置
        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
        ObjectMapper om = new ObjectMapper();
        om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
        om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
        jackson2JsonRedisSerializer.setObjectMapper(om);
        //String序列化配置
        StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();

        //key采用String的序列化方式
        template.setKeySerializer(stringRedisSerializer);
        //hash的key也采用String的序列化方式
        template.setHashKeySerializer(stringRedisSerializer);
        //value序列化采用jackson
        template.setValueSerializer(jackson2JsonRedisSerializer);
        //hash的value序列化也采用jackson
        template.setHashValueSerializer(jackson2JsonRedisSerializer);
        template.afterPropertiesSet();

        return template;
    }
}

自定义Redis工具类

使用RedisTemplate需要频繁调用.opForxxx然后才能进行对应的操作，这样使用起来代码效率低下，工作中一般不会这样使用，而是将这些常用的公共API抽取出来封装成为一个工具类，然后直接使用工具类来间接操作Redis,不但效率高并且易用。

package com.ywb.utils;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;
import org.springframework.util.CollectionUtils;

import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.concurrent.TimeUnit;

@Component
public final class RedisUtil {

    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    // =============================common============================
    /**
     * 指定缓存失效时间
     * @param key  键
     * @param time 时间(秒)
     */
    public boolean expire(String key, long time) {
        try {
            if (time > 0) {
                redisTemplate.expire(key, time, TimeUnit.SECONDS);
            }
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }

    /**
     * 根据key 获取过期时间
     * @param key 键 不能为null
     * @return 时间(秒) 返回0代表为永久有效
     */
    public long getExpire(String key) {
        return redisTemplate.getExpire(key, TimeUnit.SECONDS);
    }


    /**
     * 判断key是否存在
     * @param key 键
     * @return true 存在 false不存在
     */
    public boolean hasKey(String key) {
        try {
            return redisTemplate.hasKey(key);
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 删除缓存
     * @param key 可以传一个值 或多个
     */
    @SuppressWarnings("unchecked")
    public void del(String... key) {
        if (key != null && key.length > 0) {
            if (key.length == 1) {
                redisTemplate.delete(key[0]);
            } else {
                redisTemplate.delete(String.valueOf(CollectionUtils.arrayToList(key)));
            }
        }
    }


    // ============================String=============================

    /**
     * 普通缓存获取
     * @param key 键
     * @return 值
     */
    public Object get(String key) {
        return key == null ? null : redisTemplate.opsForValue().get(key);
    }

    /**
     * 普通缓存放入
     * @param key   键
     * @param value 值
     * @return true成功 false失败
     */

    public boolean set(String key, Object value) {
        try {
            redisTemplate.opsForValue().set(key, value);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 普通缓存放入并设置时间
     * @param key   键
     * @param value 值
     * @param time  时间(秒) time要大于0 如果time小于等于0 将设置无限期
     * @return true成功 false 失败
     */

    public boolean set(String key, Object value, long time) {
        try {
            if (time > 0) {
                redisTemplate.opsForValue().set(key, value, time, TimeUnit.SECONDS);
            } else {
                set(key, value);
            }
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 递增
     * @param key   键
     * @param delta 要增加几(大于0)
     */
    public long incr(String key, long delta) {
        if (delta < 0) {
            throw new RuntimeException("递增因子必须大于0");
        }
        return redisTemplate.opsForValue().increment(key, delta);
    }


    /**
     * 递减
     * @param key   键
     * @param delta 要减少几(小于0)
     */
    public long decr(String key, long delta) {
        if (delta < 0) {
            throw new RuntimeException("递减因子必须大于0");
        }
        return redisTemplate.opsForValue().increment(key, -delta);
    }


    // ================================Map=================================

    /**
     * HashGet
     * @param key  键 不能为null
     * @param item 项 不能为null
     */
    public Object hget(String key, String item) {
        return redisTemplate.opsForHash().get(key, item);
    }

    /**
     * 获取hashKey对应的所有键值
     * @param key 键
     * @return 对应的多个键值
     */
    public Map<Object, Object> hmget(String key) {
        return redisTemplate.opsForHash().entries(key);
    }

    /**
     * HashSet
     * @param key 键
     * @param map 对应多个键值
     */
    public boolean hmset(String key, Map<String, Object> map) {
        try {
            redisTemplate.opsForHash().putAll(key, map);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * HashSet 并设置时间
     * @param key  键
     * @param map  对应多个键值
     * @param time 时间(秒)
     * @return true成功 false失败
     */
    public boolean hmset(String key, Map<String, Object> map, long time) {
        try {
            redisTemplate.opsForHash().putAll(key, map);
            if (time > 0) {
                expire(key, time);
            }
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 向一张hash表中放入数据,如果不存在将创建
     *
     * @param key   键
     * @param item  项
     * @param value 值
     * @return true 成功 false失败
     */
    public boolean hset(String key, String item, Object value) {
        try {
            redisTemplate.opsForHash().put(key, item, value);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }

    /**
     * 向一张hash表中放入数据,如果不存在将创建
     *
     * @param key   键
     * @param item  项
     * @param value 值
     * @param time  时间(秒) 注意:如果已存在的hash表有时间,这里将会替换原有的时间
     * @return true 成功 false失败
     */
    public boolean hset(String key, String item, Object value, long time) {
        try {
            redisTemplate.opsForHash().put(key, item, value);
            if (time > 0) {
                expire(key, time);
            }
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 删除hash表中的值
     *
     * @param key  键 不能为null
     * @param item 项 可以使多个 不能为null
     */
    public void hdel(String key, Object... item) {
        redisTemplate.opsForHash().delete(key, item);
    }


    /**
     * 判断hash表中是否有该项的值
     *
     * @param key  键 不能为null
     * @param item 项 不能为null
     * @return true 存在 false不存在
     */
    public boolean hHasKey(String key, String item) {
        return redisTemplate.opsForHash().hasKey(key, item);
    }


    /**
     * hash递增 如果不存在,就会创建一个 并把新增后的值返回
     *
     * @param key  键
     * @param item 项
     * @param by   要增加几(大于0)
     */
    public double hincr(String key, String item, double by) {
        return redisTemplate.opsForHash().increment(key, item, by);
    }


    /**
     * hash递减
     *
     * @param key  键
     * @param item 项
     * @param by   要减少记(小于0)
     */
    public double hdecr(String key, String item, double by) {
        return redisTemplate.opsForHash().increment(key, item, -by);
    }


    // ============================set=============================

    /**
     * 根据key获取Set中的所有值
     * @param key 键
     */
    public Set<Object> sGet(String key) {
        try {
            return redisTemplate.opsForSet().members(key);
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
    }


    /**
     * 根据value从一个set中查询,是否存在
     *
     * @param key   键
     * @param value 值
     * @return true 存在 false不存在
     */
    public boolean sHasKey(String key, Object value) {
        try {
            return redisTemplate.opsForSet().isMember(key, value);
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 将数据放入set缓存
     *
     * @param key    键
     * @param values 值 可以是多个
     * @return 成功个数
     */
    public long sSet(String key, Object... values) {
        try {
            return redisTemplate.opsForSet().add(key, values);
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
    }


    /**
     * 将set数据放入缓存
     *
     * @param key    键
     * @param time   时间(秒)
     * @param values 值 可以是多个
     * @return 成功个数
     */
    public long sSetAndTime(String key, long time, Object... values) {
        try {
            Long count = redisTemplate.opsForSet().add(key, values);
            if (time > 0)
                expire(key, time);
            return count;
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
    }


    /**
     * 获取set缓存的长度
     *
     * @param key 键
     */
    public long sGetSetSize(String key) {
        try {
            return redisTemplate.opsForSet().size(key);
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
    }


    /**
     * 移除值为value的
     *
     * @param key    键
     * @param values 值 可以是多个
     * @return 移除的个数
     */

    public long setRemove(String key, Object... values) {
        try {
            Long count = redisTemplate.opsForSet().remove(key, values);
            return count;
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
    }

    // ===============================list=================================

    /**
     * 获取list缓存的内容
     *
     * @param key   键
     * @param start 开始
     * @param end   结束 0 到 -1代表所有值
     */
    public List<Object> lGet(String key, long start, long end) {
        try {
            return redisTemplate.opsForList().range(key, start, end);
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
    }


    /**
     * 获取list缓存的长度
     *
     * @param key 键
     */
    public long lGetListSize(String key) {
        try {
            return redisTemplate.opsForList().size(key);
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
    }


    /**
     * 通过索引 获取list中的值
     *
     * @param key   键
     * @param index 索引 index>=0时， 0 表头，1 第二个元素，依次类推；index<0时，-1，表尾，-2倒数第二个元素，依次类推
     */
    public Object lGetIndex(String key, long index) {
        try {
            return redisTemplate.opsForList().index(key, index);
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
    }


    /**
     * 将list放入缓存
     *
     * @param key   键
     * @param value 值
     */
    public boolean lSet(String key, Object value) {
        try {
            redisTemplate.opsForList().rightPush(key, value);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 将list放入缓存
     * @param key   键
     * @param value 值
     * @param time  时间(秒)
     */
    public boolean lSet(String key, Object value, long time) {
        try {
            redisTemplate.opsForList().rightPush(key, value);
            if (time > 0)
                expire(key, time);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }

    }


    /**
     * 将list放入缓存
     *
     * @param key   键
     * @param value 值
     * @return
     */
    public boolean lSet(String key, List<Object> value) {
        try {
            redisTemplate.opsForList().rightPushAll(key, value);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }

    }


    /**
     * 将list放入缓存
     *
     * @param key   键
     * @param value 值
     * @param time  时间(秒)
     * @return
     */
    public boolean lSet(String key, List<Object> value, long time) {
        try {
            redisTemplate.opsForList().rightPushAll(key, value);
            if (time > 0)
                expire(key, time);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 根据索引修改list中的某条数据
     *
     * @param key   键
     * @param index 索引
     * @param value 值
     * @return
     */

    public boolean lUpdateIndex(String key, long index, Object value) {
        try {
            redisTemplate.opsForList().set(key, index, value);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 移除N个值为value
     *
     * @param key   键
     * @param count 移除多少个
     * @param value 值
     * @return 移除的个数
     */

    public long lRemove(String key, long count, Object value) {
        try {
            Long remove = redisTemplate.opsForList().remove(key, count, value);
            return remove;
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }

    }

}

Redis.conf详解

启动的时候，就通过配置文件来启动

单位

在这里插入图片描述

  1. 配置文件 unit单位 对大小写不敏感

包含

在这里插入图片描述

网络

bind 127.0.0.1 -::1     # 绑定的ip
protected-mode yes       # 保护模式
port 6379               # 端口设置

通用 GENERAL

daemonize yes       # 以守护进程的方式运行，默认是no，我们需要自己开启为yes
pidfile /var/run/redis_6379.pid    # 如果以后台的方式运行，我们就需要指定一个pid文件

#日志
# Specify the server verbosity level.
# This can be one of:
# debug (a lot of information, useful for development/testing)
# verbose (many rarely useful info, but not a mess like the debug level)
# notice (moderately verbose, what you want in production probably)生产环境
# warning (only very important / critical messages are logged)
loglevel notice

logfile ""   # 日志的文件位置名

databases 16   # 数据库的数量，默认是16个数据库 

always-show-logo no   # 是否总是显示logo

快照

持久化，在规定的时间内，执行了多少次操作，则会持久化到文件

redis是内存数据库，如果没有持久化，那么数据断电即失

# 如果3600秒内，如果至少有1个key进行了修改，我们就进行持久化操作
save 3600 1
# 如果300秒内，如果至少有10个key进行了修改，我们就进行持久化操作
save 300 100
# 如果60秒内，如果至少有10000个key进行了修改，我们就进行持久化操作
save 60 10000

# 我们之后学习持久化，会自己定义这个测试

stop-writes-on-bgsave-error yes  # 持久化如果出错，是否还需要继续工作

rdbcompression yes   # 是否压缩rdb文件，这个时候会消耗一些cpu资源

rdbchecksum yes   # 保存rdb文件的时候，对错误进行检查校验

dir ./    # rdb文件保存的目录

REPLICATION 复制

SECURITY 安全

可以设置redis的密码，默认是没有密码

127.0.0.1:6379>config set requirepass  "xxxxxx"   # 设置redis的密码
OK
127.0.0.1:6379>config get requirepass    # 获取redistribution的密码
1) "requirepass"
2) "xxxxxx"

限制 CLIENTS

maxclients 10000   # 设置能连接上redis的最大客户端的数量
maxmemory <bytes>  # redis 配置最大的内存容量
maxmemory-policy noeviction   # 内存到达上限后的处理策略
		# 移除一些过期的key
		# 报错
		# ....

APPEND ONLY 模式 aof 配置

appendonly no    # 默认是不开启aof模式的，默认是使用rdb方式持久化的，在大部分所有的情况下，rdb完全够用了
appendfilename "appendonly.aof"    # 持久化的文件的名字

# appendfsync always   # 每次修改都会sync，消耗性能
appendfsync everysec   # 每秒执行一次sync，可能会丢失这1秒的数据 
# appendfsync no       # 不执行 sync，这个时候操作系统自己同步数据，操作最快

Redis持久化

Redis是内存数据库，如果不将内存中的数据库状态保存到磁盘，那么一旦服务器进程退出，服务器中的数据库状态也会消失，所以Redis提供了持久化功能

RDB（Redis DataBase）

什么是RDB

在主从复制中，rdb就是备用的，放在从机上面

在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里

Redis会单独创建(fork)一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的。这就确保了极高的性能。如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高校。RDB的缺点是最后一次持久化后的数据可能丢失。我们默认的就是RDB，一般情况下不需要修改这个配置。

有时候在生产环境我们会将这个文件进行备份

rdb保存的文件是 dump.rdb 都是在我们的配置文件中快照中进行配置的

在这里插入图片描述

在这里插入图片描述

触发机制

  1. save的规则满足的情况下，会自动触发rdb规则
  2. 执行flushall命令，也会触发我们的rdb规则
  3. 退出redis，也会产生rdb文件

备份就自动生成一个dump.rdb

在这里插入图片描述

如何恢复rdb文件

  1. 只需要将rdb文件放在redis启动目录下就可以了，redis启动的时候会自动检查dump.rdb恢复其中的数据

  2. 查看需要存放的位置

    127.0.0.1:6379> config get dir
1) "dir"
2) "/usr/local/bin/logconfig"    # 如果在这个目录下存在dump.rdb文件，启动就会自动恢复其中的数据

优点：

  1. 适合大规模的数据恢复！ dump.rdb
  2. 对数据的完整性要求不高就可以使用

缺点：

  1. 需要一定的时间间隔进程操作。如果redis意外宕机了，这个最后一次修改数据就没有了
  2. fork进程的时候，会占用一定的内容空间

AOF（Append Only File）

将我们的所有命令都记录下来，history，恢复的时候就把这个文件全部再执行一遍

是什么

以日志的形式来记录每个写操作，将Redis执行过的所有指令记录下来（读操作不记录），只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，Redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

AOF保存的是 appendonly.aof 文件

append

在这里插入图片描述

默认是不开启的，我们需要手动进行配置。我们只需要将appendonly no 改成 yes 就开启了aof

重启，redis就可以生效了

如果这个aof 文件有错误，这个时候redis是启动不了的，我们需要修复这个aof文件

redis给我们提供了一个工具 redis-check-aof --fix xxxxx.aof

重写规则说明

aof默认就是文件的无限追加

在这里插入图片描述

如果aof文件大于64m，将会fork一个新的进程来将我们的文件进行重写

优点和缺点

优点：

  1. 每一次修改都同步，文件的完整性会更加好
  2. 每秒同步一次，可能会丢失一秒的数据
  3. 从不同步，效率最高

缺点：

  1. 相对于数据文件来说，aof远远大于rdb，修复的速度也比rdb慢
  2. Aof运行效率也要比rdb慢，所以redis默认的配置就是rdb持久化

Redis发布订阅

通信 队列 发送者 ===== 订阅者

Redis发布订阅(pub/sub)是一种消息通信模式：发送者(pub)发送消息，订阅者(sub)接收消息

订阅/发布消息图：

第一个：消息发送者 第二个：频道 第三个：消息订阅者

在这里插入图片描述

命令

这些命令被广泛用于构建即时通信应用，比如网络聊天室（chatroom）和实时广播、实时提醒等

PSUBSCRIBE 	pattern [pattern...]    # 订阅一个或多个符合给定模式的频道

PUBSUB subcommand [argument[argument...]]    # 查看订阅与发布系统状态

PUBLISH channel message      # 将信息发送到指定的频道

PUNSUBSCRIBE [pattern[pattern...]]    # 推定所有给定模式的频道

SUBSCRIBE channel [channel...]    # 订阅给定的一个或多个频道的信息

UNSUBSCRIBE [channel[channel...]]    # 指退订给定的频道

测试

订阅端：

127.0.0.1:6379> SUBSCRIBE logpum    # 订阅一个频道logpum
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "logpum"
3) (integer) 1
# 等待读取推送的信息
1) "message"    # 消息
2) "logpum"		# 哪个频道的消息
3) "hello,logpum"    # 消息的具体内容
1) "message"
2) "logpum"
3) "hello,redis"

发送端：

127.0.0.1:6379> PUBLISH logpum "hello,logpum"    # 发布者发布消息到频道
(integer) 1
127.0.0.1:6379> PUBLISH logpum "hello,redis"    # 发布者发布消息到频道
(integer) 1

原理

Redis是使用C实现的，通过分析Redis源码里的 pubsub.c 文件，了解发布和订阅机制的底层实现，借此加深对Redis的理解

Redis 通过 PUBLISH、SUBSCRIBE 和 PSUBSCRIBE 等命令实现发布和订阅功能

通过 SUBSCRIBE 命令订阅某频道后，redis-server 里维护了一个字典，字典的键就是一个个 channel，而字典的值则是一个链表，链表中保存了所有订阅这个 channel 的客户端。SUBSCRIBE 命令的关键，就是将客户端添加到给定channel的订阅链表中

通过PUBLISH 命令向订阅者发送消息，redis-server 会使用给定的频道作为键，在它所维护的 channel 字典中查找记录了订阅这个频道的所有客户端的链表，遍历这个链表，将消息发布给所有订阅者

Pub/Sub 从字面上理解就是发布（Publish）与订阅（Subscribe），在Redis中，你可以设定对某一个key值进行消息发布及消息订阅，当一个key值上进行了消息发布后，所有订阅它的客户端都会收到相应的消息。这一功能最明显的用法就是用作实时消息系统，比如普通的即时聊天，群聊等功能

使用场景：

  1. 实时消息系统
  2. 实时聊天（频道当作聊天室，将信息回显给所有人即可）
  3. 订阅，关注系统

稍微复杂的场景会使用 消息中间件 MQ

Redis主从复制

概念

主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点（master/leader），后者称为从节点（slave/follower）；数据的复制是单向的，只能从主节点到从节点。Master以写为主，Slave以读为主

默认情况下，每台Redis服务器都是主节点；且一个主节点可以又多个从节点（或没有从节点），但一个从节点只能有一个主节点。

主从复制的作用主要包括：

  1. 数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式
  2. 故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；实际上是一种服务的冗余
  3. 负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量
  4. 高可用（集群）基石：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础

一般来说，要将Redis运用于工程项目中，只使用一台Redis是万万不能的（宕机），原因如下：

  1. 从结构上，单个Redis服务器会发生单点故障，并且一台服务器需要处理所有的请求负载，压力较大
  2. 从容量上，单个Redis服务器内存容量有限，就算一台Redis服务器内存容量为256G，也不能将所有内存用作Redis存储内存，一般来说，单台Redis最大使用内存不应该超过20G

电商网站上的商品，一般都是一次上传，无数次浏览的，说专业点也就是“多读少写”。

环境配置

只配置从库，不配置主库

127.0.0.1:6379> info replication     # 查看当前库的信息
# Replication
role:master    # 角色 master
connected_slaves:0   # 没有从机
master_failover_state:no-failover
master_replid:415cb61a653ad25c298a965bb10cd52448fecab3
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

复制3个配置文件，然后修改对应的信息

  1. 端口
  2. pid名字
  3. log文件名字
  4. dump.rdb文件名字

修改完毕之后，启动3个redis服务，可以通过进程信息查看

[root@logpum ~]# ps -ef|grep redis
root      3480     1  0 20:06 ?        00:00:00 redis-server 127.0.0.1:6381
root      3502 27470  0 20:06 pts/0    00:00:00 grep --color=auto redis
root      8928     1  0 16:01 ?        00:00:13 redis-server 127.0.0.1:6379
root      9081     1  0 16:02 ?        00:00:12 redis-server 127.0.0.1:6380

一主二从

默认情况下，每台Redis服务器都是主节点

一般情况下，只需要配置从机

slaveof

127.0.0.1:6380> SLAVEOF 127.0.0.1 6379     # SLAVEOF host 端口
OK
127.0.0.1:6380> info replication
# Replication
role:slave    # 当前角色是从机
master_host:127.0.0.1     # 可以看到主机的信息
master_port:6379
master_link_status:down
master_last_io_seconds_ago:-1
master_sync_in_progress:0
slave_repl_offset:1
master_link_down_since_seconds:-1
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:f521e81321dceebfc4444da0d7b4586241d03a1b
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

# 在主机中查看
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:1    # 1个从机
slave0:ip=127.0.0.1,port=6380,state=online,offset=0,lag=1
master_failover_state:no-failover
master_replid:a7332116449a07162b9ba12a9e8b570e1b36b284
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:0

真实的主从配置应该在配置文件中配置

细节

主机可以写，从机不能写只能读！主机中的所有信息和数据，都会自动被从机保存

主机可以写：
在这里插入图片描述

从机只能读：

在这里插入图片描述

测试：主机断开连接，从机依旧连接到主机的，但是没有写操作了，这个时候，主机如果回来了，从机依旧可以直接获取到主机写的信息

如果是使用命令行配置的从机，重启后会自动变回主机！只要变为从机，立马就会从主机中获取值

复制原理

Slave 启动成功连接到master后会发送一个sync同步命令

Master 接到命令后，启动后台的存盘进程，同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，master将传送整个数据文件到slave，并完成一次完全同步。

全量复制：而slave服务在接收到数据库文件数据后，将其存盘并加载到内存中。

增量复制：Master 继续将新的所有收集到的修改命令依次传给slave，完成同步

但是只要重新连接master，一次完全同步（全量复制）将被自动执行。我们的数据一定可以在从机中看到

层层链路

上一个M连接下一个S
在这里插入图片描述

这个时候也可以实现我们的主从复制

主机断开后，可否选择一个新的主机

如果主机断开了连接，我们可以使用SLAVEOF no one让自己变成主机。其他的节点需要手动连接到最新的主节点。如果旧的主机修复了，就只能重新连接。

哨兵模式

自动选择主机的模式

概述

主从切换技术的方法是：当主服务器宕机后，需要手动把一台从服务器切换为主服务器，这就需要人工干预，费事费力，还会造成一段时间内服务不可用。这不是一种推荐的方法，更多时候，我们优先考虑哨兵模式。Redis从2.8开始正式提供了Sentinel（哨兵）架构来解决这个问题。

谋朝篡位的自动版，能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库。

哨兵模式是一种特殊的模式，首先Redis提供了哨兵的命令，哨兵是一个独立的进程，作为进程，它会独立运行。其原理是哨兵通过发送命令，等待Redis服务器响应，从而监控运行的多个Redis实例。

在这里插入图片描述

这里的哨兵有两个作用

  • 如果发送命令，让Redis服务器返回监控其运行状态，包括主服务器和从服务器。
  • 当哨兵监测到master宕机，会自动将slave切换成master，然后通过发布订阅模式通知其他的从服务器，修改配置文件，让它们切换主机

然而一个哨兵进程对Redis服务器进行监控，可能会出现问题，为此，我们可以使用多个哨兵进行监控。各个哨兵之间还会进行监控，这样就形成了多哨兵模式。

在这里插入图片描述

假设主服务器宕机，哨兵1先检测到这个结果，系统并不会马上进行failover进程，仅仅是哨兵1主观地认为主服务器不可用，这个现象称为主观下线。当后面的哨兵也检测到主服务器不可用，并且数量达到一定值时，那么哨兵之间就会进行一次投票，投票的结果由一个哨兵发起，进行failover[故障转移]操作。切换成功后，就会通过发布订阅模式，让各个哨兵把自己监控的从服务器实现切换主机，这个过程称为客观下线。

测试

我们目前的状态是一主二从

  1. 配置哨兵配置文件sentinel.conf

    # sentinel monitor 被监控的名称 host port 1
sentinel monitor myredis 127.0.0.1 6379 1

    后面的数字1，代表主机宕机后，slave投票看让谁接替成为主机，票数最多的，就会成为主机

  2. 启动哨兵

    [root@logpum bin]# redis-sentinel logconfig/sentinel.conf 
9479:X 22 Sep 2021 21:01:19.135 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
9479:X 22 Sep 2021 21:01:19.135 # Redis version=6.2.5, bits=64, commit=00000000, modified=0, pid=9479, just started
9479:X 22 Sep 2021 21:01:19.135 # Configuration loaded
9479:X 22 Sep 2021 21:01:19.136 * monotonic clock: POSIX clock_gettime
                _._                                                  
           _.-``__ ''-._                                             
      _.-``    `.  `_.  ''-._           Redis 6.2.5 (00000000/0) 64 bit
  .-`` .-```.  ```\/    _.,_ ''-._                                  
 (    '      ,       .-`  | `,    )     Running in sentinel mode
 |`-._`-...-` __...-.``-._|'` _.-'|     Port: 26379
 |    `-._   `._    /     _.-'    |     PID: 9479
  `-._    `-._  `-./  _.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |           https://redis.io       
  `-._    `-._`-.__.-'_.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |                                  
  `-._    `-._`-.__.-'_.-'    _.-'                                   
      `-._    `-.__.-'    _.-'                                       
          `-._        _.-'                                           
              `-.__.-'                                               

9479:X 22 Sep 2021 21:01:19.137 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
9479:X 22 Sep 2021 21:01:19.139 # Sentinel ID is f086a7ad7ba18ebf098d0ba7d0c9d832fa16704c
9479:X 22 Sep 2021 21:01:19.139 # +monitor master myredis 127.0.0.1 6379 quorum 1
9479:X 22 Sep 2021 21:01:49.201 # +sdown master myredis 127.0.0.1 6379
9479:X 22 Sep 2021 21:01:49.201 # +odown master myredis 127.0.0.1 6379 #quorum 1/1
9479:X 22 Sep 2021 21:01:49.201 # +new-epoch 1
9479:X 22 Sep 2021 21:01:49.201 # +try-failover master myredis 127.0.0.1 6379
9479:X 22 Sep 2021 21:01:49.204 # +vote-for-leader f086a7ad7ba18ebf098d0ba7d0c9d832fa16704c 1
9479:X 22 Sep 2021 21:01:49.204 # +elected-leader master myredis 127.0.0.1 6379
9479:X 22 Sep 2021 21:01:49.204 # +failover-state-select-slave master myredis 127.0.0.1 6379
9479:X 22 Sep 2021 21:01:49.287 # -failover-abort-no-good-slave master myredis 127.0.0.1 6379
9479:X 22 Sep 2021 21:01:49.350 # Next failover delay: I will not start a failover before Wed Sep 22 21:07:49 2021

    如果Master节点断开了，这个时候就会从从机中随机挑选一个服务器

在这里插入图片描述

如果主机此时回来了，只能归并到新的主机下，当做从机，这就是哨兵模式的规则

哨兵模式

优点：

  1. 哨兵集群，基于主从复制模式，所有的主从配置优点，它全有
  2. 主从可以切换，故障可以转移，系统的可用性就会更好
  3. 哨兵模式就是主从模式的升级，手动到自动

缺点：

  1. Redis不好在线扩容的，集群容量一旦达到上限，在线扩容就十分麻烦
  2. 实现哨兵模式的配置其实是很麻烦的，里面有很多选择

哨兵的全部配置

# Example sentinel.conf
 
# 哨兵sentinel实例运行的端口 默认26379
port 26379
 
# 哨兵sentinel的工作目录
dir /tmp
 
# 哨兵sentinel监控的redis主节点的 ip port 
# master-name  可以自己命名的主节点名字 只能由字母A-z、数字0-9 、这三个字符".-_"组成。
# quorum 当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 1
 
# 当在Redis实例中开启了requirepass foobared 授权密码 这样所有连接Redis实例的客户端都要提供密码
# 设置哨兵sentinel 连接主从的密码 注意必须为主从设置一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster MySUPER--secret-0123passw0rd
 
 
# 指定多少毫秒之后 主节点没有应答哨兵sentinel 此时 哨兵主观上认为主节点下线 默认30秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000
 
# 这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行 同步，
这个数字越小，完成failover所需的时间就越长，
但是如果这个数字越大，就意味着越 多的slave因为replication而不可用。
可以通过将这个值设为 1 来保证每次只有一个slave 处于不能处理命令请求的状态。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
 
 
 
# 故障转移的超时时间 failover-timeout 可以用在以下这些方面： 
#1. 同一个sentinel对同一个master两次failover之间的间隔时间。
#2. 当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。
#3.当想要取消一个正在进行的failover所需要的时间。  
#4.当进行failover时，配置所有slaves指向新的master所需的最大时间。不过，即使过了这个超时，slaves依然会被正确配置为指向master，但是就不按parallel-syncs所配置的规则来了
# 默认三分钟
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000
 
# SCRIPTS EXECUTION
 
#配置当某一事件发生时所需要执行的脚本，可以通过脚本来通知管理员，例如当系统运行不正常时发邮件通知相关人员。
#对于脚本的运行结果有以下规则：
#若脚本执行后返回1，那么该脚本稍后将会被再次执行，重复次数目前默认为10
#若脚本执行后返回2，或者比2更高的一个返回值，脚本将不会重复执行。
#如果脚本在执行过程中由于收到系统中断信号被终止了，则同返回值为1时的行为相同。
#一个脚本的最大执行时间为60s，如果超过这个时间，脚本将会被一个SIGKILL信号终止，之后重新执行。
 
#通知型脚本:当sentinel有任何警告级别的事件发生时（比如说redis实例的主观失效和客观失效等等），将会去调用这个脚本，
#这时这个脚本应该通过邮件，SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时，将传给脚本两个参数，
#一个是事件的类型，
#一个是事件的描述。
#如果sentinel.conf配置文件中配置了这个脚本路径，那么必须保证这个脚本存在于这个路径，并且是可执行的，否则sentinel无法正常启动成功。
#通知脚本
# sentinel notification-script <master-name> <script-path>
  sentinel notification-script mymaster /var/redis/notify.sh
 
# 客户端重新配置主节点参数脚本
# 当一个master由于failover而发生改变时，这个脚本将会被调用，通知相关的客户端关于master地址已经发生改变的信息。
# 以下参数将会在调用脚本时传给脚本:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
# 目前<state>总是“failover”,
# <role>是“leader”或者“observer”中的一个。 
# 参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(即旧的slave)通信的
# 这个脚本应该是通用的，能被多次调用，不是针对性的。
# sentinel client-reconfig-script <master-name> <script-path>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh

Redis缓存穿透和雪崩

缓存穿透（查不到）

概念

缓存穿透的概念很简单，用户想要查询一个数据，发现redis内存数据库没有，也就是缓存没有命中，于是向持久层数据库查询。发现也没有，于是本次查询失败。当用户很多的时候，缓存都没有命中，于是都去请求了持久层数据库。这会给持久层数据库造成很大的压力，这时候就相当于出现了缓存穿透。

解决方案

布隆过滤器

布隆过滤器是一种数据结构，对所有可能查询的参数以hash形式存储，在控制层先进行校验，不符合则丢弃，从而避免了对底层存储系统的查询压力

在这里插入图片描述

缓存空对象

当存储层不命中后，即使返回的空对象也将其缓存起来，同时设置一个过期时间，之后再访问这个数据将会从缓存中获取，保护了后端数据源
在这里插入图片描述

但是这种方法会存在两个问题：

  1. 如果空值能够被缓存起来，这就意味着缓存需要更多的空间存储更多的键，因为着当中可能会有很多的空值的键
  2. 即使对空值设置了过期时间，还是会存在缓存层和存储层的数据会有一段时间窗口的不一致，这对于需要保持一致性的业务会有影响

缓存击穿（量太大，缓存过期）

概述

缓存击穿是指一个key非常热点，在不停地扛着大并发，大并发集中对这一个点进行访问，当这个key在失效的瞬间，持续地大并发穿破缓存，直接请求数据库，就像在一个屏障上凿开了一个洞

当某个key在过期的瞬间，有大量的请求并发访问，这类数据一般是热点数据，由于缓存过期，会同时访问数据库来查询最新数据，并且回写缓存，会导致数据库瞬间压力过大。

解决方案

设置热点数据永不过期

从缓存层面来看，没有设置过期时间，所以不会出现热点key过期后产生的问题

加互斥锁

分布式锁：使用分布式锁，保证对于每个key同时只有一个线程去查询后端服务，其他线程没有获得分布式锁的权限，因此只需要等待即可。这种方式将高并发的压力转移到分布式锁，因此对分布式锁的考验很大

缓存雪崩

概念

缓存雪崩，是指在某一个时间段，缓存集中过期失效。Redis宕机

产生雪崩的原因之一，比如在写本文的时候，马上就要到双十一零点了，很快就会迎来一波抢购，这波商品时间比较集中地放入了缓存，假设缓存一个消失。那么到了凌晨一点钟的时候，这批商品的缓存就都过期了。而对于这批商品的访问查询，都落到了数据库上，对于数据库而言，就会产生周期性的压力波峰。于是所有的请求都会达到存储层，存储层的调用量会暴增，造成存储层也会挂掉的情况。
在这里插入图片描述

其实集中过期，不是非常致命的，比较致命的缓存雪崩，是缓存服务器某个节点宕机或者断网。因为自然形成的缓存雪崩，一定是在某个时间段集中创建缓存，这个时候，数据库也是可以顶住压力的。无非就是对数据库产生周期性的压力而已。而缓存服务器节点的宕机，对数据库服务器造成的压力是不可预知的，很有可能瞬间就把数据库压垮。

解决方案

redis高可用

既然redis有可能挂掉，那我就多设置几台redis，这样一台挂掉之后其他的还可以继续工作，其实就是搭建的集群

限流降级

在缓存失效后，通过加锁或者队列来控制读数据库写缓存的线程数量。比如某个key只允许一个线程查询数据和写缓存，其他线程等待

数据预热

数据加热的含义就是在正式部署之前，把所有可能的数据先预先访问一遍，这样部分可能大量访问的数据就会加载到缓存中，在即将发生大并发访问前手动触发加载缓存不同的可以，设置不同的过期时间，让缓存失效的时间点尽量均匀。

cs所配置的规则来了

默认三分钟

sentinel failover-timeout

sentinel failover-timeout mymaster 180000

SCRIPTS EXECUTION

#配置当某一事件发生时所需要执行的脚本，可以通过脚本来通知管理员，例如当系统运行不正常时发邮件通知相关人员。
#对于脚本的运行结果有以下规则：
#若脚本执行后返回1，那么该脚本稍后将会被再次执行，重复次数目前默认为10
#若脚本执行后返回2，或者比2更高的一个返回值，脚本将不会重复执行。
#如果脚本在执行过程中由于收到系统中断信号被终止了，则同返回值为1时的行为相同。
#一个脚本的最大执行时间为60s，如果超过这个时间，脚本将会被一个SIGKILL信号终止，之后重新执行。

#通知型脚本:当sentinel有任何警告级别的事件发生时（比如说redis实例的主观失效和客观失效等等），将会去调用这个脚本，
#这时这个脚本应该通过邮件，SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时，将传给脚本两个参数，
#一个是事件的类型，
#一个是事件的描述。
#如果sentinel.conf配置文件中配置了这个脚本路径，那么必须保证这个脚本存在于这个路径，并且是可执行的，否则sentinel无法正常启动成功。
#通知脚本

sentinel notification-script

sentinel notification-script mymaster /var/redis/notify.sh

客户端重新配置主节点参数脚本

当一个master由于failover而发生改变时，这个脚本将会被调用，通知相关的客户端关于master地址已经发生改变的信息。

以下参数将会在调用脚本时传给脚本:

目前总是“failover”,

是“leader”或者“observer”中的一个。

参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(即旧的slave)通信的

这个脚本应该是通用的，能被多次调用，不是针对性的。

sentinel client-reconfig-script

sentinel client-reconfig-script mymaster /var/redis/reconfig.sh




## Redis缓存穿透和雪崩

### 缓存穿透（查不到）

> 概念

缓存穿透的概念很简单，用户想要查询一个数据，发现redis内存数据库没有，也就是缓存没有命中，于是向持久层数据库查询。发现也没有，于是本次查询失败。当用户很多的时候，缓存都没有命中，于是都去请求了持久层数据库。这会给持久层数据库造成很大的压力，这时候就相当于出现了缓存穿透。



> 解决方案

**布隆过滤器**

布隆过滤器是一种数据结构，对所有可能查询的参数以hash形式存储，在控制层先进行校验，不符合则丢弃，从而避免了对底层存储系统的查询压力

[外链图片转存中...(img-JB3IjbIQ-1644308139482)]



缓存空对象

当存储层不命中后，即使返回的空对象也将其缓存起来，同时设置一个过期时间，之后再访问这个数据将会从缓存中获取，保护了后端数据源

[外链图片转存中...(img-7fQ34g1l-1644308139482)]

但是这种方法会存在两个问题：

1. 如果空值能够被缓存起来，这就意味着缓存需要更多的空间存储更多的键，因为着当中可能会有很多的空值的键
2. 即使对空值设置了过期时间，还是会存在缓存层和存储层的数据会有一段时间窗口的不一致，这对于需要保持一致性的业务会有影响



### 缓存击穿（量太大，缓存过期）

> 概述

缓存击穿是指一个key非常热点，在不停地扛着大并发，大并发集中对这一个点进行访问，当这个key在失效的瞬间，持续地大并发穿破缓存，直接请求数据库，就像在一个屏障上凿开了一个洞

当某个key在过期的瞬间，有大量的请求并发访问，这类数据一般是热点数据，由于缓存过期，会同时访问数据库来查询最新数据，并且回写缓存，会导致数据库瞬间压力过大。



> 解决方案

**设置热点数据永不过期**

从缓存层面来看，没有设置过期时间，所以不会出现热点key过期后产生的问题

**加互斥锁**

分布式锁：使用分布式锁，保证对于每个key同时只有一个线程去查询后端服务，其他线程没有获得分布式锁的权限，因此只需要等待即可。这种方式将高并发的压力转移到分布式锁，因此对分布式锁的考验很大



### 缓存雪崩

> 概念

缓存雪崩，是指在某一个时间段，缓存集中过期失效。Redis宕机

产生雪崩的原因之一，比如在写本文的时候，马上就要到双十一零点了，很快就会迎来一波抢购，这波商品时间比较集中地放入了缓存，假设缓存一个消失。那么到了凌晨一点钟的时候，这批商品的缓存就都过期了。而对于这批商品的访问查询，都落到了数据库上，对于数据库而言，就会产生周期性的压力波峰。于是所有的请求都会达到存储层，存储层的调用量会暴增，造成存储层也会挂掉的情况。

[外链图片转存中...(img-Ii0uaEIo-1644308139483)]

其实集中过期，不是非常致命的，比较致命的缓存雪崩，是缓存服务器某个节点宕机或者断网。因为自然形成的缓存雪崩，一定是在某个时间段集中创建缓存，这个时候，数据库也是可以顶住压力的。无非就是对数据库产生周期性的压力而已。而缓存服务器节点的宕机，对数据库服务器造成的压力是不可预知的，很有可能瞬间就把数据库压垮。



> 解决方案

**redis高可用**

既然redis有可能挂掉，那我就多设置几台redis，这样一台挂掉之后其他的还可以继续工作，其实就是搭建的集群

**限流降级**

在缓存失效后，通过加锁或者队列来控制读数据库写缓存的线程数量。比如某个key只允许一个线程查询数据和写缓存，其他线程等待

**数据预热**

数据加热的含义就是在正式部署之前，把所有可能的数据先预先访问一遍，这样部分可能大量访问的数据就会加载到缓存中，在即将发生大并发访问前手动触发加载缓存不同的可以，设置不同的过期时间，让缓存失效的时间点尽量均匀。
gdutlog
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis的内存管理 -- 内存淘汰
Crown的博客
12-28 122
Redis 缓存的淘汰策略 给Redis设置一些字节大小去限制内存使用，当Redis达到所设置的内存大小，redis将会删除一些Key，根据所制定的内存淘汰策略。 如果Redis不能删除key根据所给的策略，或者如果当前的淘汰策略是novication，有新的Key进来的时候，Redis将回出错，比如set操作 LPUSH 等等。 只能执行get操作。简而言之：就是当redis把内存用完时，只能读...
【原创】偶遇Redis
z123456789XDW的博客
05-04 221
Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。Redis简介Redis是一个开源内存数据结构存储，用作数据库，缓存和消息代理。它支...
Redis
jfsjqy的博客
04-05 2092
.Redis 1、NoSql概述 1、 单机Mysql时代 ​ 技术瓶颈： ​ 1、数据量太大 ​ 2、数据的索引（B+Tree）,一个机器的内存放不下 ​ 3、访问量太大（读写混合），一个服务器承受不了 2、缓存 +MySQL+垂直拆分（读写分离） 3、分库分表+水平拆分+mysql集群 4、目前基本互联网项目 什么是NoSql Nosql = Not Only Sql 。非关系型数据库 NoSql特点 方便扩展 大数据量高性能 数据类型多样性（不需要事先设置数据库） 传统RDBMS
redis修改默认存储数据目录
小树苗
11-01 4680
dir /var/lib/redis 改为 dir /data/redis。yum安装redis默认数据存储目录为：/var/lib/redis。复制原目录及旗下dump.rdb至/data下面。修改配置文件/etc/redis.conf。修改数据目录为：/data/redis。
狂神说笔记——Redis(下)
筱筱攻程师的博客
02-22 367
文章目录1.事务2.Jedis3.常用的APIString4.SpringBoot整合5.Redis.conf详解6.Redis持久化RDB（Redis DataBase）AOF（Append Only File）7.Redis发布订阅8.Redis主从复制概念环境配置一主二从9.哨兵模式10.Redis缓存穿透和雪崩缓存穿透(查询不到数据)缓存击穿（量太大，缓存过期！）缓存雪崩 1.事务 Redis 事务本质：一组命令的集合！ 一个事务中的所有命令都会被序列化，在事务执行过程的中，会按照顺序执行！ 一次性
redis-windows-7.0.11
05-05
Redis是一种开源的内存数据结构存储系统，它支持多种数据结构，如字符串、哈希、列表、集合、有序集合等。Redis可以用作数据库、缓存和消息中间件。Redis在性能、可扩展性和灵活性方面表现出色，因此被广泛应用于Web...
redis-windows-7.2.4.zip
最新发布
01-14
Redis，全称Remote Dictionary Server，是一款开源的、高性能的键值对存储系统，它支持数据的持久化，可以作为数据库、缓存和消息中间件使用。Redis以其高速度和丰富的数据结构而闻名，广泛应用于互联网服务，如计数...
redis-windows-7.2.3.zip
11-09
Redis，全称Remote Dictionary Server，是一款开源的、高性能的键值存储系统，广泛应用于缓存、消息队列、数据持久化等多个场景。它以其高效的数据处理能力，丰富的数据结构以及简单易用的API赢得了广大开发者青睐。...
redis 7.0.0 windows版
05-07
redis 7.0.0 windows版，直接解压即可使用。 Redis 7.0 包括了以下一些重要的变化： 1. 将AOF文件的存储方式改为在一个文件夹下存储多个文件。 2. 将持久化文件RDB的版本升级为10，与之前的RDB文件版本不再兼容。 3....
redis-windows-7.2.1.zip
09-13
Redis，全称Remote Dictionary Server，是一款开源的、高性能的键值对存储系统，常用于数据缓存、消息队列和数据库等场景。在Windows环境下安装和使用Redis，可以通过下载对应的二进制压缩包来实现，比如"redis-...
Redis 详解
weixin_43097056的博客
04-20 157
​ Redis 1. 学习Redis,我们首先需要简单学习一下NOSQL的特点，有助于让我们理解，什么是Redis，为什么使用Redis NoSQL = Not Only SQL(不仅仅是SQL)泛指非关系型数据库 关系型数据库：表，行，列 非关系型数据库：数据类型的存储不需要固定的一个格式！不需要过多的操作，就可以横向扩展； NOSQL--解耦！ 1：方便扩展(数据之间没有关系，很好扩展)； ...
Redis默认配置文件redis.conf详解
journey_fan的专栏
05-10 1万+
# Redis配置文件样例 # Note on units: when memory size is needed, it is possible to specifiy # it in the usual form of 1k 5GB 4M and so forth: # # 1k => 1000 bytes # 1kb => 1024 bytes # 1m => 1000000 bytes
Redis 如何导出数据
aohaizhi7722的博客
04-30 1378
Redis是一款支持多种数据类型的Key-Value数据库。 这里介绍下如何从Redis中导出数据。 数据是如何存储的？、 Redis中是把数据保存到内存中的，但是它也会定期的把数据写会到硬盘中。 Redis保存数据有两种方式： 快照模式（Snapshot） 它支持两种快照模式： 定时快照，即...
linux redis默认的配置文件路径,linux环境下安装配置redis，并设置开机自启动
weixin_39955149的博客
05-04 1万+
1.官网下载tar包，地址：https://redis.io/download 2.上传至/usr/local目录并解压tar -zxvf redis-6.0.7.tar.gz3.安装gcc环境由于redis是由C语言编写的，它的运行需要C环境，因此我们需要先安装gcc。安装命令如下(二选一或全选)：yum -y install gcc gcc-c++ libstdc++-develyum ins...
redis_day03
纸鸢栀年°的博客
09-06 321
redis_day02回顾 五大数据类型及应用场景 类型 特点 使用场景 string 简单key-value类型，value可为字符串和数字 常规计数（微博数, 粉丝数等功能） hash 是一个string类型的field和value的映射表，hash特别适合用于存储对象 存储部分可能需要变更的数据（比如用户信息） list 有序可重复列表 关注列表，粉丝列表，消息队列等...
常见redis.conf配置
我是IT小菜鸟的博客
04-12 1万+
常见redis配置： 打开redis.conf文件，不同的操作系统在不同的位置，Ubuntu在用户目录下，red hat在opt目录下，建议用find命令确定其位置。 首先，在redis中，1k != 1kb，gb/Gb/gB/GB不区分大小写，截图： 类似于struts2，可以将配置文件分开配置，用include包含进来，也可以在一个主机上多个redis之间使用同一份配置文件，
美团在Redis上踩过的一些坑-1.客户端周期性出现connect timeout
weixin_33806509的博客
11-05 1324
转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154 1. 背景： 大部分互联网公司都会有Mysql或者Oracle的DBA，但是在Nosql方面一般不会设置专门的DBA。不过对于一些知名的互联网公司来说，Nosql的使用量是巨大的，所以通常让Mysql的DBA...
解决io.lettuce.core.RedisCommandTimeoutException: Command timed out, mysql 访问15分钟阻塞等待
热门推荐
淡泊明志,宁静致远
09-23 4万+
写这篇文章前我也是谷歌百度过,可以无非都是千篇一律配置 timeout 或者lettuce的连接池,可是更改完这些配置,问题依旧,于是开始了自我探索之路,请出Wireshark大杀器,每当动用Wireshark时,我都知道我摊上大事了,文章是两个问题一个redis,一个mysql,但是都是一个原因造成的,所以写在了一起 一:redis超时 1.出现问题的现象是每隔5,6分钟(这个时间是反复...
使用StackExchange.Redis客户端进行Redis访问出现的Timeout异常排查
dinghui2004的博客
10-10 3926
问题产生 这两天业务系统在redis的使用过程中，当并行客户端数量达到200+之后，产生了大量timeout异常，典型的异常信息如下： Timeout performing HVALS Parser2#Hash#VersionState, inst: 1, mgr: ExecuteSelect, err: never, queue: 2, qu: 0, qs: 2, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值