Redis

1 安装与启动

1.1 编译安装

# 下载安装包
https://download.redis.io/releases/

# 解压后编译
tar -zxvf 包名
cd 解压后文件夹
make

1.2 启动

# 解压文件夹下
# 修改配置支持后台启动
vim redis.conf
修改 daemonize yes

# 解压文件夹/src/
# 启动服务
./redis-server ../redis.conf

# 连接
./redis-cli

# 关闭单实例服务
shutdown

2 操作

2.1 key操作

# 操作具有原子性，redis是单线程+多路IO复用，redis执行命令是单线程，IO多线程部分只用在网络数据读写和协议解析，默认没有开启

# 查看所有key
keys *

# 设置值
set key value

# 查看值
get key

# 查看类型
type key

# 删除key
del key
unlink key   # 非阻塞删除

# 设置过期时间
expire key time

# 查看过期时间
ttl key   # -2已过期，-1永不过期

# 查看当前数据库的key数量
dbsize

# 切换数据库，默认0号库
select 数据库

# 清空当前库
flushdb

# 清空全部库
fulshall

2.2 数据类型

2.2.1 字符串类型

# 一个value值最多512M
# 数据结构为简单动态字符串，最大长度为512M。字符串长度小于1M时，加倍扩容，超过1M时，每次扩容增加1M

# 设置值
set key value

# 获取值
get key

# 追加值
append key value

# 获取值的长度
strlen key

# 仅在key不存在时设置值
setnx key value

# 将key中存储的数字值增加1
incr key

# 将key中存储的数字值减少1
decr key

# 增减固定值
incrby key num
decrby key num

# 设置多个值
mset key1 value1 key2 value2 ...

# 设置多个值，任何一个存在，设置不成功
msetnx key1 value1 key2 value2 ...

# 获取多个值
mget key1 key2 key3

# 获取值范围的值
getrange key start end    # getrange test 0 3  相当于test[0:4]

# 覆盖值，从指定位开始，替换长度和value相同的值
setrange key start value

# 设置过期时间
setex key time value   # set t1 10 1   # 设置值为1，过期时间为10s

# 以新值换旧值
getset key newvalue   # 获取了旧值，并覆盖了旧值

2.2.2 list

# 单键多值
# 值的数据结构是快速链表(双向链表)，多块连续的内存(压缩列表之间)使用指针相连，相当于数组加指针，数组与数组之间加指针相连。两端操作性能高，索引下标操作中间性能不高

# 从左边/右边插入一个或多个值
lpush key v1 v2 ..   # 相当于依次 insert(0, v)
rpush key v1 v2 ..   # 相当于依次 append(v)

# 从左边/右边取出值，值取光键销毁
lpop key
rpop key

# 查看值
lrange key start end 
# 查看全部值
lrange key 0 -1

# 从key1键右边取1个值放到key2的左边
rpoplpush key1 key2

# 获取指定位置值
lindex key index

# 查看列表长度
llen key

# 在第一个value前/后面插入值
linsert key before value newvalue
linsert key after value newvalue

# 从左边删除n个指定value
lrem key n value

# 替换指定下标的值
lset key index value

2.2.3 set

# 自动去重，string类型的集合，无序
# 数据结构是字典，用哈希表实现，HashSet内部实现是HashMap，所有value指向同一个对象

# 设置或添加
sadd key value1 value2 ..

# 查看
smembers key

# 判断集合中是否包含指定值
sismember key value

# 返回元素个数
scard key

# 删除元素，值无键亡
srem key value1 value2

# 随机取出一个值
spop key

# 随机获取集合中n个值，非取出
srandmember key n

# 把集合key1中指定值移出放到另一个集合key2，可以是key1中不存在的值
smove key1 key2 value

# 求交集
sinter key1 key2

# 求并集
sunion key1 key2

# 求差集
sdiff key1 key2   # 在key1且不在key2

2.2.4 hash

# value为string类型的field和value的映射表，相当于java的Map，python的字典
# 数据结构：压缩列表(数组)和哈希表，当field-value长度短且数量少时使用压缩列表，否则使用哈希表

# 设置
hset key filed value

# 设置多个字段值
hmset key f1 v1 f2 v2 ..

# 不存在filed时设置值
hsetnx key filed value

# 取值
hget key filed

# 查看指定filed是否存在
hexists key filed

# 查看所有filed
hkeys key

# 查看所有值
hvals key

# 给一个filed的数值值加上固定值
hincrby key filed num

2.2.5 有序集合zset

# 无重复值，与set相比，每个元素多了一个评分，按评分从低到高排序，元素不可重复，评分可重复
# 数据结构：值与权重结构是Map结果，权重排名采用跳表(一种有序表)

# 设置或添加
zadd key s1 v1 s2 v2 ..   # 评分 值

# 按排序后下标范围取值
zrange key start end [withscores]   # withscores获取评分
# 获取全部元素
zrange key 0 -1
# 获取全部元素和评分
zrange key 0 -1 withscores

# 按评分范围取值
zrangebyscore key min max [withscores] [limit offset count]

# 按评分范围取值，且从大到小排序
zrevrangebyscore key max min [withscores] [limit offset count]

# 给指定元素的分数加上固定值
zincrby key score value

# 删除指定元素
zrem key value

# 统计分数区间内的元素个数
zcount key min max

# 返回元素的排名，从0开始，分数低的排在前面
zrank key value

3 配置文件

# 开头定义了一些大小单位，只支持bytes，不支持bit
# 大小写不敏感

# includes：包含其他内容，可以包含其他配置文件

# network: 网络配置
bind 127.0.0.1 -::1   # 限制只能本地访问，支持远程连接，应当注释该行
protected-mode yes   # 开启保护模式，只能本机访问，不能远程访问，支持远程访问时应当设置为no
port 6379  # 端口默认6379
timeout 0   # 永不超时
tcp-keepalive 300   # 检查连接的心跳时间

# general
daemonize no   # 不支持后台启动，应改成yes，守护进程
pidfile /var/run/redis_6379.pid    # 启动端口号设置文件
loglevel notice   # 日志级别
logfile ""   # 日志输出位置，默认为空，表示/dev/null
databases 16   # 数据库数量

# security: 密码
# requirepass foobared    # 打开该配置

# limit：设置连接数，内存
# maxclients 10000
# maxmemory <bytes>

4 发布和订阅

# 订阅
subscribe 订阅号名

# 发布
publish 订阅号名 消息体

5 新数据类型

5.1 bitmaps

# 实际是字符串，相当于一个以0，1为元素的数组

# 设置值，offset偏移量，value只能为0或1
setbit key offset value   # setbit sb1 1 1

# 获取值
getbit key offset

# 统计指定范围内1的数量
bitcount key
bitcount key start end

# 逻辑操作 and or not xor(异或)
bitop and nk key1 key2   # key1和key2与的值存在nk

5.2 hyperloglog

# 计算基数

# 设置
pfadd key v1 v2 ...

# 统计基数数量
pfcount key

# 合并多个key的基数
pfmerge nk key1 key2 ...   # 合并key1、key2..的基数放到nk

5.3 geospatial

# 二维坐标，地理信息

# 设置
geoadd key 经度 维度 名称   # geoadd g1 114.12 22.42 现次

# 取值
geopos key 名称

# 取直线距离，单位km,m,mi(英里),ft(英尺)，默认米
geodist key 名称1 名称2 单位 

# 取半径内名称
georadius key 经度 维度 半径 单位

6 事务

6.1 事务操作

# 开启事务，组队阶段，命令放在队列中
multi

# 执行事务，执行阶段
exec

# 放弃组队与执行
discard

# 组队阶段错误，组队失败，所有命令失败，
# 执行阶段错误，仅发生错误的命令失败

6.2 乐观锁

# 在执行multi之前，先执watch key1 [key2 ..] 监视1个或多个key，如果在事务执行之前这个key被其他命令改动，那么事务被打断

# 监视key
watch key

# 取消所有key的监视
unwatch

6.3 特性

# 单独的隔离操作
# 没有隔离级别
# 也不保证原子性：一条命令执行失败，不影响其他命令，没有回滚

7 持久化

7.1 rdb

# 在指定的时间间隔内将内存中的数据集快照写入磁盘，恢复时直接将快照文件读到内存

# redis创建单独的子进程来进行持久化，先将数据写入一个临时文件，待持久化过程结束，再用这个临时文件替换上次持久化好的文件

# 持久化文件名配置
dbfilename dump.rdb
# 目录，默认在启动目录
dir ./
# 时间间隔内至少多少次写操作触发快照，变化越多，时间越短，比如1分钟写了1w次
# save ""

# 缺点
# 内存中数据克隆一份，需要考虑2倍的性能膨胀
# 最后一次快照时，可能会有数据丢失

# 优点
# 适合大规模的数据恢复
# 对数据完整性和一致性要求不高时更适用
# 节省磁盘空间
# 恢复速度快

# rdb备份
将备份文件与配置路径下的rdb文件进行替换

7.2 AOF

# append only file，以日志的形式来记录每个写操作指令，只许追加，不可以改写
# 和RDB一样，启动时加载
# aof和rdb同时开启，默认取aof数据

# 配置
appendonly no   # 未开启
appendfilename "appendonly.aof"  # 文件名
appenddirname "appendonlydir"    # 文件路径

# 数据恢复
# 和RDB一样，服务启动时加载

# appendonly.aof文件异常恢复
redis-check-aof --fix appendonly.aof   # 服务启动目录下

# 同步频率设置
appendsync alwaays  # 始终同步,写入时立刻记入日志
appendfsync everysec  # 每秒同步
appendsync no   # 不主动同步

# rewrite 重写压缩
# 触发条件：文件大于64M且大于基本大小的100%

# 流程
客户端写操作会被append追加到AOF缓冲区
AOF缓冲区根据AOF持久化策略将操作sync同步到磁盘的AOF文件中
AOF文件大写超过重写策略或手动重写时，会触发重写，压缩AOF文件容量

# 优点
丢失概率低

# 劣势
占磁盘空间多
恢复慢
性能压力

7.3 使用

官方推荐AOF和RDB都启用
对数据不敏感，单独选RDB
不建议单独使用AOF
如果只是做纯缓存，可以都不用

8 主从复制

8.1 作用

1）读写分离，性能扩展
2）容灾快速恢复

8.2 配置主从(1主2从)

# 创建目录test
mkdir test
# 复制配置redis.conf到目录
cp redis.conf ~/test
# 关闭配置中aof持久化
appendonly no
# 新建配置文件redis6379.conf，并添加如下配置
include /root/test/redis.conf
pidfile /root/test/redis6379.pid
port 6379
dbfilename dump6379.rdb
# 按6379配置，分别配置6380和6381

# 启动服务
redis-server redis6379.conf
redis-server redis6380.conf
redis-server redis6381.conf

# 连接客户端
redis-cli -p 6380

# 查看主从信息
info replication

# 配从不配主，在从机上配置
slaveof 主机ip 主机端口

8.3 一主两从

# 从服务器挂了，重启后，不能默认使用之前设置的主从信息，需重新设置主从信息
# 重新设置主从信息后，从服务器会去同步主服务器所有信息

# 主服务器挂了，重启后，还是主服务，从服务器的主服务器也没变

# 复制原理
1) 从服务器连上主服务器后，从服务器向主服务器发送进行数据同步信息
2）主服务器接到从服务器发送的同步消息，把主服务器数据进行持久化，把rdb文件发送给从服务器，从服务器根据rdb文件进行读取（全量复制）
3）每次主服务进行写操作，会和从服务器进行同步（增量复制）

# 薪火相传
6379 -> 6380 -> 6381  # 6380当作6381的主机，6381不直接作为6379的从机

# 反客为主
slaveof no one   # 从机上执行，从机变为主机

8.4 哨兵模式(反客为主的自动版)

# 配置
# 在配置目录下建 sentinel.conf 文件，名字不能错
# 写入如下配置项，sentinel哨兵，monitor监控，mymaster监控对象名称，主机ip，端口，最少同意迁移哨兵的数量
sentinel monitor mymaster 127.0.0.1 6379 1

# 启动哨兵，默认端口26379
redis-sentinel /root/test/sentinel.conf

# 当主服务器挂了时，从从服务器中选出主服务器，其他服务器(包括挂了的原主服务器)都当作新主服务器的从服务器

# 选举规则，由先到后依次为：
1）优先级靠前的，配置文件redis.conf中的replica-priority 100，值越小优先级越高
2) 选择偏移量最大的，即和主机同步越高，偏移量越大
3）选择runid最小的从服务，每次redis启动后会随机生成一个40位的runid

9 集群

9.1 作用

# 实现方式：无中心化集群配置
# 实现了对redis的水平扩容，启动n个节点，每个节点上数据量位1/n
# 并发写操作，分担压力
# 集群通过分区提供一定程度的可用性，部分节点失效，可继续处理请求

9.2 集群配置

# 在主从复制配置的基础上，增加集群配置
cluster-enabled yes     # 打开集群模式
cluster-config-file nodes-6379.conf   # 节点配置文件名
cluster-node-timeout 15000   # 节点失联时间，超过该时间，自动进行主从切换

# 复制5份，端口分别位6380，6381，6389，6390，6391
# :%s/6379/6380   分别更改配置

# 分别启动
redis-server 配置文件
../redis/redis-7.0.0/src/redis-server redis6380.conf

# 组成集群，在安装的src目录下执行
# --replicas 1 采用最简单的方式配置集群，1台主机1台从机，ip不能为localhost
redis-cli --cluster create --cluster-replicas 1 192.168.126.139:6379 192.168.126.139:6389 192.168.126.139:6380 192.168.126.139:6390 192.168.126.139:6381 192.168.126.139:6391 
# yes

# 集群化客户端连接
redis-cli -c -p 6379

# 查看节点信息
cluster nodes

9.3 集群分配

# 一个集群至少要有3个主节点
# --cluster-replicas 1表示希望为集群中每个主节点分配一个从节点，分配原则是，尽量保证每个主数据库运行在不同IP地址，每个从库和主库不在一个IP地址上

# key分配：插槽slots
# 1个redis集群包含16384个插槽，数据库中的每个键都属于其中一个插槽，每个节点都有一个插槽范围，对于每个key，通过公式CRC16(key)%16384来计算属于哪个插槽

# 计算插槽
cluster keyslot key   # 计算值
cluster countkeysinslot num   # 计算插槽中有多少个key，只能看自己插槽范围的值

9.4 故障恢复

# 主机故障时，从机成为主机，原主机重启后成为新主机的从机
# 当配置了 cluster-require-full-coverage为yes时，当一段插槽的主从都挂了，那整个集群也挂了，为no时，仅该段插槽挂了，不影响其他插槽段的主机

10 redis问题与解决方案

10.1 缓存穿透

现象：应用服务器压力突然变大，redis命中率降低，一直查数据库，数据库压力变大
产生：redis查不到数据库，出现很多非正常url访问(恶意攻击)

解决方案：
1）对空值进行短时间的缓存
2）设置可访问名单(白名单)
3）采用布隆过滤器
4）进行实时检测，发现问题IP时，运维人员进行黑名单限制

10.2 缓存击穿

现象：数据库访问压力瞬时增加，redis里面没有出现大量key过期，redis正常运行
原因：redis某个key过期了（热门key），大量访问使用这个key

解决方案：
1）预先设置热门数据，热门数据提前存入redis
2）实时调整，实时调整热门key的过期时间
3）使用锁

10.3 缓存雪崩

现象：数据库压力变大，服务器崩溃
原用：在极少时间内，大量key集中过期

解决方案：
1）构建多级缓存架构：nginx缓存+redis缓存
2）使用锁或队列，不适合高并发
3）设置过期标志更新缓存，过期触发通知另外的线程去后台更新key
4）将缓存失效时间分散开，随机的过期时间

11 基于redis实现分布式锁

# 通过setnx来实现，容易造成死锁，需要加上过期时间
# 设置，给键lock设置值后，没法再设置，必须删除后才能再设置lock
setnx lock 'xxxx' 
expire lock time
# 释放
del lock

# 原子性操作上锁和设置过期时间
set key value nx ex time   # nx上锁，ex设置过期时间

# 访误删锁
# 给锁的值设置为uuid，之能释放自己uuid的锁

12 访问控制

acl list
# "user default on nopass ~* &* +@all"
# default: 用户名, on启用,off停用, nopass不需要密码 ~*可操作的key +@all可执行的命令

acl cat # 操作命令查看
acl cat string

# 加用户
acl setuser tom

# 设置用户名，密码，权限
acl setuser 用户名 on >密码 ~key:* +操作
acl setuser us on >1234 ~k* +get

# 当前用户
acl whoami

# 切换用户
auth 用户名 密码