目录
1.定义
Redis是一个开源(BSD许可),内存存储的数据结构服务器,可用作数据库,高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合,位图,hyperloglogs等数据类型。内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能,同时通过Redis Sentinel提供高可用,通过Redis Cluster提供自动分区。
2.分布式系统三高
高可用 (效率问题):就是说每个人来访问必须都是一样的效率
高可靠 (稳定性):不至于一个系统的崩坍 导致整个业务出问题
高并发(并发量):能够好多人来一起访问
########并发是指一个人正在处理请求的时候另一个人又来了
最基础的核心逻辑就是降低单个用户的处理时间
redis是缓存,內存式数据库,降低用户处理时间,数据落地问题(数据容易丢),但是可以用aof和rdb进行处理,也存在弊端,就可以搭建集群
redis事务问题:由多步的数据库操作所组成的业务就构建了一套事务,但是redis是单线程的 不用考虑隔离性问题
ACID 原子性 一致性 隔离性(脏读幻读重复读) 持久性
3.下载,解压,编译
1. $ wget http://download.redis.io/releases/redis-5.0.4.tar.gz
2. $ tar xzf redis-5.0.4.tar.gz
3. $ cd redis-5.0.4
4. $ make
5. $ make install
!注意redis需要二次安装 一般二次安装都会有Makefile这个文件
make指令需要安装c++插件,linux上没有,所以需要下载
yum为软件的源镜像 yum install gcc-c++
注意:如果没有安装插件的make的话 还要清除安装日志,进入src目录下 执行make distclear
4.redis基础命令
a.redis-server 服务器启动
redis-server redis.conf
b.redis-cli 客户端连接
redis-cli -h ip -p 端口
c.关闭命令:
在服务器ctrl+c|客户端shutdown
d.Redis 键(key) 命令
dbsize查看当前数据库的keyvalue个数
flushdb 删除当前数据库全部keyvalue
flushall 删除全部数据库keyvalue
keys *
keys table*以table开头的
序号 | 命令及描述 |
---|---|
1 | DEL key 该命令用于在 key 存在是删除 key。 |
2 | **DUMP key 序列化给定 key ,并返回被序列化的值。 这个设置字符串的时候用 |
3 | EXISTS key 检查给定 key 是否存在。 |
4 | EXPIRE key seconds 为给定 key 设置过期时间。 |
5 | EXPIREAT key timestamp EXPIREAT 的作用和 EXPIRE 类似,都用于为 key 设置过期时间。 不同在于 EXPIREAT 命令接受的时间参数是 UNIX 时间戳(unix timestamp)。 |
6 | PEXPIRE key milliseconds 设置 key 的过期时间亿以毫秒计。 |
7 | PEXPIREAT key milliseconds-timestamp 设置 key 过期时间的时间戳(unix timestamp) 以毫秒计 |
8 | KEYS pattern 查找所有符合给定模式( pattern)的 key 。 |
9 | MOVE key db 将当前数据库的 key 移动到给定的数据库 db 当中。 |
10 | PERSIST key 移除 key 的过期时间,key 将持久保持。 |
11 | PTTL key 以毫秒为单位返回 key 的剩余的过期时间。 |
12 | TTL key 以秒为单位,返回给定 key 的剩余生存时间(TTL, time to live)。 |
13 | RANDOMKEY 从当前数据库中随机返回一个 key 。 |
14 | RENAME key newkey 修改 key 的名称 |
15 | RENAMENX key newkey 仅当 newkey 不存在时,将 key 改名为 newkey 。 |
16 | TYPE key 返回 key 所储存的值的类型。 |
e.String字符串命令
序号 | 命令及描述 |
---|---|
1 | SET key value 设置指定 key 的值 |
2 | GET key 获取指定 key 的值。 |
3 | GETRANGE key start end 返回 key 中字符串值的子字符 |
4 | GETSET key value 将给定 key 的值设为 value ,并返回 key 的旧值(old value)。 |
5 | GETBIT key offset 对 key 所储存的字符串值,获取指定偏移量上的位(bit)。 |
6 | [MGET key1 key2..] 获取所有(一个或多个)给定 key 的值。 |
7 | SETBIT key offset value 对 key 所储存的字符串值,设置或清除指定偏移量上的位(bit)。 |
8 | SETEX key seconds value 将值 value 关联到 key ,并将 key 的过期时间设为 seconds (以秒为单位)。 |
9 | SETNX key value 只有在 key 不存在时设置 key 的值。 |
10 | SETRANGE key offset value 用 value 参数覆写给定 key 所储存的字符串值,从偏移量 offset 开始。 |
11 | STRLEN key 返回 key 所储存的字符串值的长度。 |
12 | [MSET key value key value ...] 同时设置一个或多个 key-value 对。 |
13 | [MSETNX key value key value ...] 同时设置一个或多个 key-value 对,当且仅当所有给定 key 都不存在。 |
14 | PSETEX key milliseconds value 这个命令和 SETEX 命令相似,但它以毫秒为单位设置 key 的生存时间,而不是像 SETEX 命令那样,以秒为单位。 |
15 | INCR key 将 key 中储存的数字值增一。 |
16 | INCRBY key increment 将 key 所储存的值加上给定的增量值(increment) 。 |
17 | INCRBYFLOAT key increment 将 key 所储存的值加上给定的浮点增量值(increment) 。 |
18 | DECR key 将 key 中储存的数字值减一。 |
19 | DECRBY key decrement key 所储存的值减去给定的减量值(decrement) 。 |
20 | APPEND key value 如果 key 已经存在并且是一个字符串, APPEND 命令将 value 追加到 key 原来的值的末尾。 |
f.Redis 哈希(Hash)
下表列出了 redis hash 基本的相关命令:
序号 | 命令及描述 |
---|---|
1 | [HDEL key field2 field2] 删除一个或多个哈希表字段 |
2 | HEXISTS key field 查看哈希表 key 中,指定的字段是否存在。 |
3 | HGET key field 获取存储在哈希表中指定字段的值/td> |
4 | HGETALL key 获取在哈希表中指定 key 的所有字段和值 |
5 | HINCRBY key field increment 为哈希表 key 中的指定字段的整数值加上增量 increment 。 |
6 | HINCRBYFLOAT key field increment 为哈希表 key 中的指定字段的浮点数值加上增量 increment 。 |
7 | HKEYS key 获取所有哈希表中的字段 |
8 | HLEN key 获取哈希表中字段的数量 |
9 | [HMGET key field1 field2] 获取所有给定字段的值 |
10 | [HMSET key field1 value1 field2 value2 ] 同时将多个 field-value (域-值)对设置到哈希表 key 中。 |
11 | HSET key field value 将哈希表 key 中的字段 field 的值设为 value 。 |
12 | HSETNX key field value 只有在字段 field 不存在时,设置哈希表字段的值。 |
13 | HVALS key 获取哈希表中所有值 |
14 | HSCAN key cursor MATCH pattern 迭代哈希表中的键值对。 |
hset 1 username zhangsan
hset 1 password 123456
hgetall 1
g.Redis 列表(List)
序号 | 命令及描述 |
---|---|
1 | [BLPOP key1 key2 ] timeout 移出并获取列表的第一个元素, 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。 |
2 | [BRPOP key1 key2 ] timeout 移出并获取列表的最后一个元素, 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。 |
3 | BRPOPLPUSH source destination timeout 从列表中弹出一个值,将弹出的元素插入到另外一个列表中并返回它; 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。 |
4 | LINDEX key index 通过索引获取列表中的元素 |
5 | LINSERT key BEFORE|AFTER pivot value 在列表的元素前或者后插入元素 |
6 | LLEN key 获取列表长度 |
7 | LPOP key 移出并获取列表的第一个元素 |
8 | [LPUSH key value1 value2] 将一个或多个值插入到列表头部 |
9 | LPUSHX key value 将一个或多个值插入到已存在的列表头部 |
10 | LRANGE key start stop 获取列表指定范围内的元素 |
11 | LREM key count value 移除列表元素 |
12 | LSET key index value 通过索引设置列表元素的值 |
13 | LTRIM key start stop 对一个列表进行修剪(trim),就是说,让列表只保留指定区间内的元素,不在指定区间之内的元素都将被删除。 |
14 | RPOP key 移除并获取列表最后一个元素 |
15 | RPOPLPUSH source destination 移除列表的最后一个元素,并将该元素添加到另一个列表并返回 |
16 | [RPUSH key value1 value2] 在列表中添加一个或多个值 |
17 | RPUSHX key value 为已存在的列表添加值 |
h.Redis 集合(Set)
下表列出了 Redis 集合基本命令:
序号 | 命令及描述 |
---|---|
1 | [SADD key member1 member2] 向集合添加一个或多个成员 |
2 | SCARD key 获取集合的成员数 |
3 | [SDIFF key1 key2] 返回给定所有集合的差集 |
4 | [SDIFFSTORE destination key1 key2] 返回给定所有集合的差集并存储在 destination 中 |
5 | [SINTER key1 key2] 返回给定所有集合的交集 |
6 | [SINTERSTORE destination key1 key2] 返回给定所有集合的交集并存储在 destination 中 |
7 | SISMEMBER key member 判断 member 元素是否是集合 key 的成员 |
8 | SMEMBERS key 返回集合中的所有成员 |
9 | SMOVE source destination member 将 member 元素从 source 集合移动到 destination 集合 |
10 | SPOP key 移除并返回集合中的一个随机元素 |
11 | [SRANDMEMBER key count] 返回集合中一个或多个随机数 |
12 | [SREM key member1 member2] 移除集合中一个或多个成员 |
13 | [SUNION key1 key2] 返回所有给定集合的并集 |
14 | [SUNIONSTORE destination key1 key2] 所有给定集合的并集存储在 destination 集合中 |
15 | SSCAN key cursor [MATCH pattern] [COUNT count] 迭代集合中的元素 |
i.Redis 有序集合(sorted set)
序号 | 命令及描述 |
---|---|
1 | [ZADD key score1 member1 score2 member2] 向有序集合添加一个或多个成员,或者更新已存在成员的分数 |
2 | ZCARD key 获取有序集合的成员数 |
3 | ZCOUNT key min max 计算在有序集合中指定区间分数的成员数 |
4 | ZINCRBY key increment member 有序集合中对指定成员的分数加上增量 increment |
5 | [ZINTERSTORE destination numkeys key key ...] 计算给定的一个或多个有序集的交集并将结果集存储在新的有序集合 key 中 |
6 | ZLEXCOUNT key min max 在有序集合中计算指定字典区间内成员数量 |
7 | [ZRANGE key start stop WITHSCORES] 通过索引区间返回有序集合成指定区间内的成员 |
8 | [ZRANGEBYLEX key min max LIMIT offset count] 通过字典区间返回有序集合的成员 |
9 | ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT] 通过分数返回有序集合指定区间内的成员 |
10 | ZRANK key member 返回有序集合中指定成员的索引 |
11 | [ZREM key member member ...] 移除有序集合中的一个或多个成员 |
12 | ZREMRANGEBYLEX key min max 移除有序集合中给定的字典区间的所有成员 |
13 | ZREMRANGEBYRANK key start stop 移除有序集合中给定的排名区间的所有成员 |
14 | ZREMRANGEBYSCORE key min max 移除有序集合中给定的分数区间的所有成员 |
15 | [ZREVRANGE key start stop WITHSCORES] 返回有序集中指定区间内的成员,通过索引,分数从高到底 |
16 | [ZREVRANGEBYSCORE key max min WITHSCORES] 返回有序集中指定分数区间内的成员,分数从高到低排序 |
17 | ZREVRANK key member 返回有序集合中指定成员的排名,有序集成员按分数值递减(从大到小)排序 |
18 | ZSCORE key member 返回有序集中,成员的分数值 |
19 | [ZUNIONSTORE destination numkeys key key ...] 计算给定的一个或多个有序集的并集,并存储在新的 key 中 |
20 | ZSCAN key cursor [MATCH pattern] [COUNT count] 迭代有序集合中的元素(包括元素成员和元素分值) |
5.redis-conf主配置文件的解析
bind 127.0.0.1 #绑定ip,指定的ip才能访问
注意:!!!!本地访问阿里云服务器的redis的时候,需要把ip增加阿里云ip,这样才可以连接上 不然会显示拒绝连接,再之后,如果存储不了值的话,就开启下方的保护模式 不然存不了值显示(Connection reset by peer )
protected-mode yes #是否开启安全保护模式 如果开启会受到上面ip列表的影响
databases 16 默认16个数据库
dump.rdb配置信息
save 900 1
save 300 10
save 60 10000
dbfilename dump.rdb #文件名
dir ./ #保存路径 默认执行redis-server执行路径
requirepass foobared #密码设置 默认关闭
之后连接之后 需要输入密码 auth 123456不然输入不进去值
##########APPEND ONLY MODE
appendonly.aof的配置信息
appendonly no #默认不开
appendfilename "appendonly.aof" #名字
# appendfsync always
appendfsync everysec #开启模式
# appendfsync no
6.RDB和AOF备份
Redis的备份机制就是内存中的数据输出到硬盘上
a.RDB备份:
将Redis的内存数据以二进制字节的方式,进行本地磁盘化的存储
#####SNAPSHOTTING(快照)######## save 900 1 save 300 10 ===========>RDB自动备份时间点 save 60 10000 stop-writes-on-bgsave-error yes rdbcompression yes #是否开启rdb文件压缩 rdbchecksum yes #开启文件完整性校验 dbfilename dump.rdb #rdb备份文件名 dir ./ 备份路径
自动备份:
单位时间内触发的次数决定了RDB自动备份的机制,如上面的前三行
RDB的自动备份是以时间为单位的开启,并不是修改次数
进行备份的时候会主内存生成镜像內存这个是所有人必须都得等的,就是说这个时间段redis不能干任何事情,在之后redis会生成一个fork子进程进行处理rdb备份写入磁盘
手动备份:
save:并不会开启fork子进程 (完整但是慢)
bgsave:等效于自动开启rdb备份 我们平常用的 如上图所示 开启fork子进程
shutdown :关服务器自动备份
数据回滚:
在redis服务器开启的同时会进行rdb的数据载入,读取的rdb文件就是你conf主配置文件里面写的rdb文件的地址。
redis的rdb也可以关闭 ,就是把上面的时间点关闭或者注了
redis备份流程
开始rdb备份,从主内存中备份一个镜像內存,启动fork子进程,fork子进程利用镜像內存进行本地磁盘的rdb备份,备份之后通知主进程备份完成,如果在一个子进程进行备份之前需要检测是否有其他的子进程在进行备份,如果有其他子进程正在进行备份。则取消本次备份
b.AOF备份
操作记录形式的备份
############################## APPEND ONLY MODE ###############################appendonly no 默认关闭rof备份appendfilename "appendonly.aof" #文件名# appendfsync always appendfsync everysec #自动备份逻辑:aof的备份结果会比rdb在数据的实时性上更好 # appendfsync nono-appendfsync-on-rewrite no #aof的备份的重写同步操作(如果改成yes容易被覆盖掉)auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb #aof的重写条件aof-load-truncated yesaof-use-rdb-preamble yes
备份的路径和rdb一样 真离谱
自动备份
手动备份
aof的重写
自动重写
#AOF的重写条件
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
int base_size = ?;//初始容量 65MB 重写以后的初始容量
int now_size = ?;//当前大小 48MB-->96MB-->65MB
if (now_size >= base_size + base_size * auto-aof-rewrite-percentage%
&& now_size >= auto-aof-rewrite-min-size){
进行重写
}
base_zise = 重写以后的容量
手动重写
bgrewireteaof
aof备份流程
c.rdb和aof的优缺点:
aof实时性好就是太tmd地大了
rdb和aof备份的对比
(1)备份的效率 aof>rdb
(2)备份的完整性 aof>rdb
(3)备份的时间跨度 aof<rdb
(4)回滚速度 rdb远高于aof
长期rdb 短期aof
RDB的优点:简称“3更”
1.体积更小:相同的数据量rdb数据比aof的小,因为rdb是紧凑型文件
2.恢复更快:因为rdb是数据的快照,基本上就是数据的复制,不用重新读取再写入内存
3.性能更高:父进程在保存rdb时候只需要fork一个子进程,无需父进程的进行其他io操作,也保证了服务器的性能。
缺点:
1.故障丢失:因为rdb是全量的,我们一般是使用shell脚本实现30分钟或者1小时或者每天对redis进行rdb备份,(注,也可以是用自带的策略),但是最少也要5分钟进行一次的备份,所以当服务死掉后,最少也要丢失5分钟的数据。
2.耐久性差:相对aof的异步策略来说,因为rdb的复制是全量的,即使是fork的子进程来进行备份,当数据量很大的时候对磁盘的消耗也是不可忽视的,尤其在访问量很高的时候,fork的时间也会延长,导致cpu吃紧,耐久性相对较差。
aof的优点
1.数据保证:我们可以设置fsync策略,一般默认是everysec,也可以设置每次写入追加,所以即使服务死掉了,咱们也最多丢失一秒数据
2.自动缩小:当aof文件大小到达一定程度的时候,后台会自动的去执行aof重写,此过程不会影响主进程,重写完成后,新的写入将会写到新的aof中,旧的就会被删除掉。但是此条如果拿出来对比rdb的话还是没有必要算成优点,只是官网显示成优点而已。
缺点呢:和rdb相反嘛,毕竟只有两种。
1.性能相对较差:它的操作模式决定了它会对redis的性能有所损耗
2.体积相对更大:尽管是将aof文件重写了,但是毕竟是操作过程和操作结果仍然有很大的差别,体积也毋庸置疑的更大。
3.恢复速度更慢:
7.springboot整合redis
a.引入依赖
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency>
b.yml文件
# redis: # host: 192.168.137.140 # port: 6379 # password: 123456
c.配置bean
@Configuration public class RedisConfig { @Bean public RedisTemplate<Object,Object> redisTemplate(RedisConnectionFactory redisConnectionFactory){ RedisTemplate redisTemplate = new RedisTemplate(); //指定值的序列化过程 FastJsonRedisSerializer serializer = new FastJsonRedisSerializer(Object.class); redisTemplate.setHashValueSerializer(serializer); redisTemplate.setValueSerializer(serializer); StringRedisSerializer serializerKey = new StringRedisSerializer(); //指定键的序列化过程 ,如果不指定则使用系统默认的Redis指令对元素进行序列化 redisTemplate.setKeySerializer(serializerKey); redisTemplate.setHashKeySerializer(serializerKey); redisTemplate.setConnectionFactory(redisConnectionFactory); return redisTemplate; } }