redis知识

为什么要使用NoSQL

1、现如今网站80%都是在读数据,每次都要去查询数据库就十分的麻烦,所以为了减轻数据库的压力,我们使用缓存来保证效率。
2、网站有许多较大的文件、博客、图片,因此数据库表很大,效率低。
3、方便扩展(数据之间没有关系,很好扩展!)
4、大数据量高性能(Redis 一秒写 8 万次,读取 11 万,NoSQL的缓存记录级,是一种细粒度的缓存,性
能会比较高!)
5、数据类型是多样型的!(不需要事先设计数据库!随取随用!如果是数据量十分大的表,很多人就无
法设计了!)

什么是NoSQL

NoSQL=Not Only SQL(不仅仅是SQL)
关系型数据库:表格 ,行 ,列
泛指非关系型数据库的,随着web2.0互联网的诞生!传统的关系型数据库很难对付web2.0时代!尤其是超大规模的高并发的社区! 暴露出来很多难以克服的问题,NoSQL在当今大数据环境下发展的十分迅速,Redis是发展最快的,而且是我们当下必须要掌握的一个技术!很多的数据类型用户的个人信息,社交网络,地理位置。这些数据类型的存储不需要一个固定的格式!不需要多月的操作就可以横向扩展的 ! Map<String,Object> 使用键值对来控制!

Redis概述

Redis(Remote Dictionary Server ),即远程字典服务!是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。

Redis基础知识

1、redis默认有 16 个数据库,默认使用的是第 0 个,可以使用 select 进行切换数据库!
清除当前数据库 flushdb
清除全部数据库的内容 FLUSHALL

127 .0.0.1:6379> select 3 # 切换数据库
OK
127 .0.0.1:6379[3]> DBSIZE  # 查看DB大小!
(integer) 0
127 .0.0.1:6379[3]> keys *  # 查看数据库所有的key
1 ) "name"

2、redis是单线程的!明白Redis是很快的,官方表示,Redis是基于内存操作,CPU不是Redis性能瓶颈,Redis的瓶颈是根据机器的内存和网络带宽,既然可以使用单线程来实现,就使用单线程了!所有就使用了单线程了!Redis 是C 语言写的,官方提供的数据为 100000+ 的QPS,完全不比同样是使用 key-vale的Memecache差!
3、Redis 为什么单线程还这么快?
误区 1 :高性能的服务器一定是多线程的?
误区 2 :多线程(CPU上下文会切换!)一定比单线程效率高!
先去CPU>内存>硬盘的速度要有所了解!
核心:redis 是将所有的数据全部放在内存中的,所以说使用单线程去操作效率就是最高的,多线程(CPU上下文会切换:耗时的操作!!!),对于内存系统来说,如果没有上下文切换效率就是最高的!多次读写都是在一个CPU上的,在内存情况下,这个就是最佳的方案!

Redis的五大类型

字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(zset)
Redis-Key

127 .0.0.1:6379> keys *  # 查看所有的key
(empty list or set)
127 .0.0.1:6379> set name kuangshen  # set key
OK
127 .0.0.1:6379> keys *
1 ) "name"
127 .0.0.1:6379> set age 1
OK
127 .0.0.1:6379> keys *
1 ) "age"
2 ) "name"
127 .0.0.1:6379> EXISTS name  # 判断当前的key是否存在
(integer) 1
127 .0.0.1:6379> EXISTS name
(integer) 0
127 .0.0.1:6379> move name 1 # 移除当前的key
(integer) 1
127 .0.0.1:6379> keys *
1 ) "age"
127 .0.0.1:6379> set name qinjiang
OK
127 .0.0.1:6379> keys *
1 ) "age"
2 ) "name"
127 .0.0.1:6379> clear
127 .0.0.1:6379> keys *
1 ) "age"
2 ) "name"
127 .0.0.1:6379> get name
"qinjiang"
127 .0.0.1:6379> EXPIRE name 10 # 设置key的过期时间,单位是秒
(integer) 1
127 .0.0.1:6379> ttl name  # 查看当前key的剩余时间
(integer) 4
127 .0.0.1:6379> ttl name
(integer) 3
127 .0.0.1:6379> ttl name
(integer) 2
127 .0.0.1:6379> ttl name
(integer) 1
127 .0.0.1:6379> ttl name
(integer) -
127 .0.0.1:6379> get name
(nil)
127 .0.0.1:6379> type name  # 查看当前key的一个类型!
string
127 .0.0.1:6379> type age
string

String(字符串)

##########################################################################
127 .0.0.1:6379> set key1 v1  # 设置值
OK
127 .0.0.1:6379> get key1 # 获得值
"v1"
127 .0.0.1:6379> keys * # 获得所有的key
1 ) "key1"
127 .0.0.1:6379> EXISTS key1  # 判断某一个key是否存在
(integer) 1
127 .0.0.1:6379> APPEND key1 "hello" # 追加字符串,如果当前key不存在,就相当于setkey
(integer) 7
127 .0.0.1:6379> get key1
"v1hello"
127 .0.0.1:6379> STRLEN key1  # 获取字符串的长度!
(integer) 7
127 .0.0.1:6379> APPEND key1 ",kaungshen"
(integer) 17
127 .0.0.1:6379> STRLEN key1
(integer) 17
127 .0.0.1:6379> get key1
"v1hello,kaungshen"
##########################################################################
# i++
# 步长 i+=
127 .0.0.1:6379> set views 0 # 初始浏览量为 0
OK
127 .0.0.1:6379> get views
"0"
127 .0.0.1:6379> incr views  # 自增 1 浏览量变为 1
(integer) 1
127 .0.0.1:6379> incr views
(integer) 2
127 .0.0.1:6379> get views
"2"
127 .0.0.1:6379> decr views  # 自减 1 浏览量-1
(integer) 1
127 .0.0.1:6379> decr views
(integer) 0
127 .0.0.1:6379> decr views
(integer) -1
127 .0.0.1:6379> get views
"-1"
127 .0.0.1:6379> INCRBY views 10 # 可以设置步长,指定增量!
(integer) 9
127 .0.0.1:6379> INCRBY views 10
(integer) 19
127 .0.0.1:6379> DECRBY views 5
(integer) 14
########################################################################

字符串范围 range

127 .0.0.1:6379> set key1 "hello,kuangshen" # 设置 key1 的值
OK
127 .0.0.1:6379> get key1
"hello,kuangshen"
127 .0.0.1:6379> GETRANGE key1 0 3 # 截取字符串 [0,3]
"hell"
127 .0.0.1:6379> GETRANGE key1 0 -1 # 获取全部的字符串 和 get key是一样的
"hello,kuangshen"

替换!

127 .0.0.1:6379> set key2 abcdefg
OK
127 .0.0.1:6379> get key2
"abcdefg"
127 .0.0.1:6379> SETRANGE key2 1 xx # 替换指定位置开始的字符串!
(integer) 7
127 .0.0.1:6379> get key2
"axxdefg"
########################################################################

setex (set with expire) # 设置过期时间
setnx (set if not exist) # 不存在在设置 (在分布式锁中会常常使用!)

127 .0.0.1:6379> setex key3 30 "hello" # 设置key3 的值为 hello,30秒后过期
OK
127 .0.0.1:6379> ttl key3
(integer) 26
127 .0.0.1:6379> get key3
"hello"
127 .0.0.1:6379> setnx mykey "redis" # 如果mykey 不存在,创建mykey
(integer) 1
127 .0.0.1:6379> keys *
1 ) "key2"
2 ) "mykey"
3 ) "key1"
127 .0.0.1:6379> ttl key3
(integer) -2
127 .0.0.1:6379> setnx mykey "MongoDB" # 如果mykey存在,创建失败!
(integer) 0
127 .0.0.1:6379> get mykey
"redis"
##########################################################################
mset
mget

127 .0.0.1:6379> mset k1 v1 k2 v2 k3 v3 # 同时设置多个值
OK
127 .0.0.1:6379> keys *
1 ) "k1"
2 ) "k2"
3 ) "k3"
127 .0.0.1:6379> mget k1 k2 k3 # 同时获取多个值
1 ) "v1"
2 ) "v2"
3 ) "v3"

List(列表)

127 .0.0.1:6379> msetnx k1 v1 k4 v4  # msetnx 是一个原子性的操作,要么一起成功,要么一起
失败!
(integer) 0
127 .0.0.1:6379> get k4
(nil)
# 对象
set user:1 {name:zhangsan,age:3}  # 设置一个user:1 对象 值为 json字符来保存一个对象!
# 这里的key是一个巧妙的设计: user:{id}:{filed} , 如此设计在Redis中是完全OK了!
127 .0.0.1:6379> mset user:1:name zhangsan user:1:age 2
OK
127 .0.0.1:6379> mget user:1:name user:1:age
1 ) "zhangsan"
2 ) "2"
##########################################################################
getset # 先get然后在set
127 .0.0.1:6379> getset db redis # 如果不存在值,则返回 nil
(nil)
127 .0.0.1:6379> get db
"redis
127 .0.0.1:6379> getset db mongodb  # 如果存在值,获取原来的值,并设置新的值
"redis"
127 .0.0.1:6379> get db
"mongodb"

在redis里面,我们可以把list玩成 ,栈、队列、阻塞队列!
所有的list命令都是用l开头的,Redis不区分大小命令

##########################################################################
127 .0.0.1:6379> LPUSH list one  # 将一个值或者多个值,插入到列表头部 (左)
(integer) 1
127 .0.0.1:6379> LPUSH list two
(integer) 2
127 .0.0.1:6379> LPUSH list three
(integer) 3
127 .0.0.1:6379> LRANGE list 0 -1 # 获取list中值!
1 ) "three"
2 ) "two"
3 ) "one"
127 .0.0.1:6379> LRANGE list 0 1 # 通过区间获取具体的值!
1 ) "three"
2 ) "two"
127 .0.0.1:6379> Rpush list righr  # 将一个值或者多个值,插入到列表位部 (右)
(integer) 4
127 .0.0.1:6379> LRANGE list 0 -1
1 ) "three"
2 ) "two"
3 ) "one"
4 ) "righr"
##########################################################################
LPOP
RPOP
127 .0.0.1:6379> LRANGE list 0 -1
1 ) "three"
2 ) "two"
3 ) "one"
4 ) "righr"
127 .0.0.1:6379> Lpop list  # 移除list的第一个元素
"three"
127 .0.0.1:6379> Rpop list  # 移除list的最后一个元素
"righr"
127 .0.0.1:6379> LRANGE list 0 -1
1 ) "two"
2 ) "one"
##########################################################################
Lindex
127 .0.0.1:6379> LRANGE list 0 -1
1 ) "two"
2 ) "one"
127 .0.0.1:6379> lindex list 1 # 通过下标获得 list 中的某一个值!
"one"
127 .0.0.1:6379> lindex list 0
"two"
##########################################################################
Llen
127 .0.0.1:6379> Lpush list one
(integer) 1
127 .0.0.1:6379> Lpush list two
(integer) 2
127 .0.0.1:6379> Lpush list three
(integer) 3
127 .0.0.1:6379> Llen list # 返回列表的长度
(integer) 3

##########################################################################
移除指定的值!
取关 uid

Lrem
127 .0.0.1:6379> LRANGE list 0 -1
1 ) "three"
2 ) "three"
3 ) "two"
4 ) "one"
127 .0.0.1:6379> lrem list 1 one # 移除list集合中指定个数的value,精确匹配
(integer) 1
127 .0.0.1:6379> LRANGE list 0 -1
1 ) "three"
2 ) "three"
3 ) "two"
127 .0.0.1:6379> lrem list 1 three
(integer) 1
127 .0.0.1:6379> LRANGE list 0 -1
1 ) "three"
2 ) "two"
127 .0.0.1:6379> Lpush list three
(integer) 3
127 .0.0.1:6379> lrem list 2 three
(integer) 2
127 .0.0.1:6379> LRANGE list 0 -1
1 ) "two"

##########################################################################
trim 修剪。; list 截断!

127 .0.0.1:6379> keys *
(empty list or set)
127 .0.0.1:6379> Rpush mylist "hello"
(integer) 1
127 .0.0.1:6379> Rpush mylist "hello1"
(integer) 2
127 .0.0.1:6379> Rpush mylist "hello2"
(integer) 3
127 .0.0.1:6379> Rpush mylist "hello3"
(integer) 4
127 .0.0.1:6379> ltrim mylist 1 2 # 通过下标截取指定的长度,这个list已经被改变了,截断了
只剩下截取的元素!
OK
127 .0.0.1:6379> LRANGE mylist 0 -1
1 ) "hello1"
2 ) "hello2"

##########################################################################
rpoplpush # 移除列表的最后一个元素,将他移动到新的列表中!

127 .0.0.1:6379> rpush mylist "hello"
(integer) 1
127 .0.0.1:6379> rpush mylist "hello1"
(integer) 2
127 .0.0.1:6379> rpush mylist "hello2"
(integer) 3
127 .0.0.1:6379> rpoplpush mylist myotherlist # 移除列表的最后一个元素,将他移动到新的
列表中!
"hello2"
127 .0.0.1:6379> lrange mylist 0 -1 # 查看原来的列表
1 ) "hello"
2 ) "hello1"
127 .0.0.1:6379> lrange myotherlist 0 -1 # 查看目标列表中,确实存在改值!
1 ) "hello2"

##########################################################################
lset 将列表中指定下标的值替换为另外一个值,更新操作
127 .0.0.1:6379> EXISTS list # 判断这个列表是否存在
(integer) 0
127 .0.0.1:6379> lset list 0 item # 如果不存在列表我们去更新就会报错
(error) ERR no such key
127 .0.0.1:6379> lpush list value1
(integer) 1
127 .0.0.1:6379> LRANGE list 0 0
1 ) "value1"
127 .0.0.1:6379> lset list 0 item # 如果存在,更新当前下标的值
OK
127 .0.0.1:6379> LRANGE list 0 0
1 ) "item"
127 .0.0.1:6379> lset list 1 other # 如果不存在,则会报错!
(error) ERR index out of range
##########################################################################
linsert # 将某个具体的value插入到列把你中某个元素的前面或者后面!

127 .0.0.1:6379> Rpush mylist "hello"
(integer) 1
127 .0.0.1:6379> Rpush mylist "world"
(integer) 2
127 .0.0.1:6379> LINSERT mylist before "world" "other"
(integer) 3
127 .0.0.1:6379> LRANGE mylist 0 -1
1 ) "hello"
2 ) "other"
3 ) "world"
127 .0.0.1:6379> LINSERT mylist after world new
(integer) 4
127 .0.0.1:6379> LRANGE mylist 0 -1
1 ) "hello"
2 ) "other"
3 ) "world"
4 ) "new"

如果移除了所有值,空链表,也代表不存在!
在两边插入或者改动值,效率最高! 中间元素,相对来说效率会低一点~
消息排队!消息队列 (Lpush Rpop), 栈( Lpush Lpop)!
Set(集合)
set中的值是不能重读的!

##########################################################################
127 .0.0.1:6379> sadd myset "hello" # set集合中添加匀速
(integer) 1
127 .0.0.1:6379> sadd myset "kuangshen"
(integer) 1
127 .0.0.1:6379> sadd myset "lovekuangshen"
(integer) 1
127 .0.0.1:6379> SMEMBERS myset # 查看指定set的所有值
1 ) "hello"
2 ) "lovekuangshen"
3 ) "kuangshen"
127 .0.0.1:6379> SISMEMBER myset hello  # 判断某一个值是不是在set集合中!
(integer) 1
127 .0.0.1:6379> SISMEMBER myset world
(integer) 0
##########################################################################
127 .0.0.1:6379> scard myset  # 获取set集合中的内容元素个数!
(integer) 4
##########################################################################
rem
127 .0.0.1:6379> srem myset hello  # 移除set集合中的指定元素
(integer) 1
127 .0.0.1:6379> scard myset
(integer) 3
127 .0.0.1:6379> SMEMBERS myset
1 ) "lovekuangshen2"
2 ) "lovekuangshen"
3 ) "kuangshen"
##########################################################################
set 无序不重复集合。抽随机!
127 .0.0.1:6379> SMEMBERS myset
1 ) "lovekuangshen2"
2 ) "lovekuangshen"
3 ) "kuangshen"
127 .0.0.1:6379> SRANDMEMBER myset  # 随机抽选出一个元素
"kuangshen"
127 .0.0.1:6379> SRANDMEMBER myset
"kuangshen"
127 .0.0.1:6379> SRANDMEMBER myset
"kuangshen"
127 .0.0.1:6379> SRANDMEMBER myset
"kuangshen"
127 .0.0.1:6379> SRANDMEMBER myset 2 # 随机抽选出指定个数的元素
1 ) "lovekuangshen"
2 ) "lovekuangshen2"
127 .0.0.1:6379> SRANDMEMBER myset 2
1 ) "lovekuangshen"
2 ) "lovekuangshen2"
127 .0.0.1:6379> SRANDMEMBER myset # 随机抽选出一个元素
"lovekuangshen2"

##########################################################################
删除定的key,随机删除key!

127 .0.0.1:6379> SMEMBERS myset
1 ) "lovekuangshen2"
2 ) "lovekuangshen"
3 ) "kuangshen"
127 .0.0.1:6379> spop myset # 随机删除一些set集合中的元素!
"lovekuangshen2"
127 .0.0.1:6379> spop myset
"lovekuangshen"
127 .0.0.1:6379> SMEMBERS myset
1 ) "kuangshen"

##########################################################################
将一个指定的值,移动到另外一个set集合!
127 .0.0.1:6379> sadd myset "hello"
(integer) 1
127 .0.0.1:6379> sadd myset "world"
(integer) 1
127 .0.0.1:6379> sadd myset "kuangshen"
(integer) 1
127 .0.0.1:6379> sadd myset2 "set2"
(integer) 1
127 .0.0.1:6379> smove myset myset2 "kuangshen" # 将一个指定的值,移动到另外一个set集
合!
(integer) 1
127 .0.0.1:6379> SMEMBERS myset
1 ) "world"
2 ) "hello"
127 .0.0.1:6379> SMEMBERS myset2
1 ) "kuangshen"
2 ) "set2"

##########################################################################
微博,B站,共同关注!(并集)
数字集合类:

差集 SDIFF
交集
并集
127 .0.0.1:6379> SDIFF key1 key2 # 差集
1 ) "b"
2 ) "a"
127 .0.0.1:6379> SINTER key1 key2 # 交集 共同好友就可以这样实现
1 ) "c"
127 .0.0.1:6379> SUNION key1 key2 # 并集
1 ) "b"
2 ) "c"
3 ) "e"
4 ) "a"
5 ) "d"

Hash(哈希)
Map集合,key-map! 时候这个值是一个map集合! 本质和String类型没有太大区别,还是一个简单的key-vlaue!

127 .0.0.1:6379> hset myhash field1 kuangshen  # set一个具体 key-vlaue
(integer) 1
127 .0.0.1:6379> hget myhash field1  # 获取一个字段值
"kuangshen"
127 .0.0.1:6379> hmset myhash field1 hello field2 world # set多个 key-vlaue
OK
127 .0.0.1:6379> hmget myhash field1 field2 # 获取多个字段值
1 ) "hello"
2 ) "world"
127 .0.0.1:6379> hgetall myhash # 获取全部的数据,
1 ) "field1"
2 ) "hello"
3 ) "field2"
4 ) "world"
127 .0.0.1:6379> hdel myhash field1  # 删除hash指定key字段!对应的value值也就消失了!
(integer) 1
127 .0.0.1:6379> hgetall myhash
1 ) "field2"
2 ) "world"
##########################################################################
hlen
127 .0.0.1:6379> hmset myhash field1 hello field2 world
OK
127 .0.0.1:6379> HGETALL myhash
1 ) "field2"
2 ) "world"
3 ) "field1"
4 ) "hello"
127 .0.0.1:6379> hlen myhash  # 获取hash表的字段数量!
(integer) 2
##########################################################################
127 .0.0.1:6379> HEXISTS myhash field1  # 判断hash中指定字段是否存在!
(integer) 1
127 .0.0.1:6379> HEXISTS myhash field3
(integer) 0
##########################################################################
# 只获得所有field
# 只获得所有value
127 .0.0.1:6379> hkeys myhash  # 只获得所有field
1 ) "field2"
2 ) "field1"
127 .0.0.1:6379> hvals myhash  # 只获得所有value
1 ) "world"
2 ) "hello"
##########################################################################
incr decr
127 .0.0.1:6379> hset myhash field3 5 #指定增量!
(integer) 1
127 .0.0.1:6379> HINCRBY myhash field3 1
(integer) 6
127 .0.0.1:6379> HINCRBY myhash field3 -1
(integer) 5
127 .0.0.1:6379> hsetnx myhash field4 hello  # 如果不存在则可以设置
(integer) 1
127 .0.0.1:6379> hsetnx myhash field4 world  # 如果存在则不能设置
(integer) 0

hash变更的数据 user name age,尤其是是用户信息之类的,经常变动的信息! hash 更适合于对象的存储,String更加适合字符串存储!
Zset(有序集合)
在set的基础上,增加了一个值,set k1 v1 zset k1 score1 v1

127 .0.0.1:6379> zadd myset 1 one # 添加一个值
(integer) 1
127 .0.0.1:6379> zadd myset 2 two 3 three # 添加多个值
(integer) 2
127 .0.0.1:6379> ZRANGE myset 0 -1
1 ) "one"
2 ) "two"
3 ) "three"
##########################################################################
排序如何实现
127 .0.0.1:6379> zadd salary 2500 xiaohong  # 添加三个用户
(integer) 1
127 .0.0.1:6379> zadd salary 5000 zhangsan
(integer) 1
127 .0.0.1:6379> zadd salary 500 kaungshen
(integer) 1
# ZRANGEBYSCORE key min max
127 .0.0.1:6379> ZRANGEBYSCORE salary -inf +inf  # 显示全部的用户 从小到大!
1 ) "kaungshen"
2 ) "xiaohong"
3 ) "zhangsan"
127 .0.0.1:6379> ZREVRANGE salary 0 -1 # 从大到进行排序!
1 ) "zhangsan"
2 ) "kaungshen"
127 .0.0.1:6379> ZRANGEBYSCORE salary -inf +inf withscores # 显示全部的用户并且附带成
绩
1 ) "kaungshen"
2 ) "500"
3 ) "xiaohong"
5 ) "zhangsan"
6 ) "5000"
127 .0.0.1:6379> ZRANGEBYSCORE salary -inf 2500 withscores # 显示工资小于 2500 员工的升
序排序!
1 ) "kaungshen"
2 ) "500"
3 ) "xiaohong"
4 ) "2500"
##########################################################################
# 移除rem中的元素
127 .0.0.1:6379> zrange salary 0 -1
1 ) "kaungshen"
2 ) "xiaohong"
3 ) "zhangsan"
127 .0.0.1:6379> zrem salary xiaohong # 移除有序集合中的指定元素
(integer) 1
127 .0.0.1:6379> zrange salary 0 -1
1 ) "kaungshen"
2 ) "zhangsan"
127 .0.0.1:6379> zcard salary  # 获取有序集合中的个数
(integer) 2
##########################################################################
127 .0.0.1:6379> zadd myset 1 hello
(integer) 1
127 .0.0.1:6379> zadd myset 2 world 3 kuangshen
(integer) 2
127 .0.0.1:6379> zcount myset 1 3 # 获取指定区间的成员数量!
(integer) 3
127 .0.0.1:6379> zcount myset 1 2
(integer) 2

SpringBoot整合

说明: 在 SpringBoot2.x 之后,原来使用的jedis 被替换为了 lettuce?
jedis : 采用的直连,多个线程操作的话,是不安全的,如果想要避免不安全的,使用jedis pool 连接池! 更像 BIO 模式.
lettuce : 采用netty,实例可以再多个线程中进行共享,不存在线程不安全的情况!可以减少线程数据了,更像 NIO 模式.

Redis.conf详解

启动的时候,就通过配置文件来启动!

bind 127 .0.0.1  # 绑定的ip
protected-mode yes # 保护模式
port 6379 # 端口设置
daemonize yes # 以守护进程的方式运行,默认是 no,我们需要自己开启为yes!
pidfile /var/run/redis_6379.pid  # 如果以后台的方式运行,我们就需要指定一个 pid 文件!
# 日志
# Specify the server verbosity level.
# This can be one of:
快照
持久化, 在规定的时间内,执行了多少次操作,则会持久化到文件 .rdb. aof
redis 是内存数据库,如果没有持久化,那么数据断电及失!
REPLICATION 复制,我们后面讲解主从复制的,时候再进行讲解
SECURITY 安全可以在这里设置redis的密码,默认是没有密码!

# debug (a lot of information, useful for development/testing)
# verbose (many rarely useful info, but not a mess like the debug level)
# notice (moderately verbose, what you want in production probably) 生产环境
# warning (only very important / critical messages are logged)
loglevel notice
logfile "" # 日志的文件位置名
databases 16 # 数据库的数量,默认是 16 个数据库
always-show-logo yes # 是否总是显示LOGO

# 如果900s内,如果至少有一个1 key进行了修改,我们及进行持久化操作
save 900 1
# 如果300s内,如果至少10 key进行了修改,我们及进行持久化操作
save 300 10
# 如果60s内,如果至少10000 key进行了修改,我们及进行持久化操作
save 60 10000
# 我们之后学习持久化,会自己定义这个测试!
stop-writes-on-bgsave-error yes # 持久化如果出错,是否还需要继续工作!
rdbcompression yes # 是否压缩 rdb 文件,需要消耗一些cpu资源!
rdbchecksum yes # 保存rdb文件的时候,进行错误的检查校验!
dir ./  # rdb 文件保存的目录!
maxclients 10000 # 设置能连接上redis的最大客户端的数量
maxmemory <bytes>  # redis 配置最大的内存容量
maxmemory-policy noeviction  # 内存到达上限之后的处理策略
 1 、volatile-lru:只对设置了过期时间的key进行LRU(默认值)
 2 、allkeys-lru : 删除lru算法的key
 3 、volatile-random:随机删除即将过期key
 4 、allkeys-random:随机删除
 5 、volatile-ttl : 删除即将过期的
 6 、noeviction : 永不过期,返回错误
appendonly no  # 默认是不开启aof模式的,默认是使用rdb方式持久化的,在大部分所有的情况下,rdb完全够用!
appendfilename "appendonly.aof" # 持久化的文件的名字
# appendfsync always # 每次修改都会 sync。消耗性能
appendfsync everysec # 每秒执行一次 sync,可能会丢失这1s的数据!
# appendfsync no # 不执行 sync,这个时候操作系统自己同步数据,速度最快!

Redis持久化

Redis 是内存数据库,如果不将内存中的数据库状态保存到磁盘,那么一旦服务器进程退出,服务器中的数据库状态也会消失。所以 Redis 提供了持久化功能!
RDB(Redis DataBase)
在这里插入图片描述
在指定的时间间隔内将内存中的数据集快照写入磁盘,也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里。Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的。这就确保了极高的性能。如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那
RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。我们默认的就是RDB,一般情况下不需要修改这个配置!
有时候在生产环境我们会将这个文件进行备份!
rdb保存的文件是dump.rdb 都是在我们的配置文件中快照中进行配置的!
在这里插入图片描述
触发机制
1 、save的规则满足的情况下,会自动触发rdb规则
2 、执行 flushall 命令,也会触发我们的rdb规则!
3 、退出redis,也会产生 rdb 文件!
备份就自动生成一个 dump.rdb
在这里插入图片描述
如何恢复rdb文件?
1 、只需要将rdb文件放在我们redis启动目录就可以,redis启动的时候会自动检查dump.rdb 恢复其中的数据!
2 、查看需要存在的位置

rdb优缺点:
优点:
1 、适合大规模的数据恢复!
2 、对数据的完整性要不高!
缺点:
1 、需要一定的时间间隔进程操作!如果redis意外宕机了,这个最后一次修改数据就没有的了!
2 、fork进程的时候,会占用一定的内容空间!!
AOF(Append Only File)
将我们的所有命令都记录下来,history,恢复的时候就把这个文件全部在执行一遍!
以日志的形式来记录每个写操作,将Redis执行过的所有指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
Aof保存的是 appendonly.aof 文件
在这里插入图片描述
默认是不开启的,我们需要手动进行配置!我们只需要将 appendonly 改为yes就开启了 aof!
重启,redis 就可以生效了!
重写规则说明:
在这里插入图片描述
aof 默认就是文件的无限追加,文件会越来越大!
如果 aof 文件大于 64m,太大了! fork一个新的进程来将我们的文件进行重写!
aof的优缺点:
优点:
1 、每一次修改都同步,文件的完整会更加好!
2 、每秒同步一次,可能会丢失一秒的数据
3 、从不同步,效率最高的!
缺点:
1 、相对于数据文件来说,aof远远大于 rdb,修复的速度也比 rdb慢!
2 、Aof 运行效率也要比 rdb 慢,所以我们redis默认的配置就是rdb持久化!

扩展:

1 、RDB 持久化方式能够在指定的时间间隔内对你的数据进行快照存储
2 、AOF 持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以Redis 协议追加保存每次写的操作到文件末尾,Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大。
3 、只做缓存,如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化
4 、同时开启两种持久化方式

在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF
文件保存的数据集要比RDB文件保存的数据集要完整。
RDB 的数据不实时,同时使用两者时服务器重启也只会找AOF文件,那要不要只使用AOF呢?作者
建议不要,因为RDB更适合用于备份数据库(AOF在不断变化不好备份),快速重启,而且不会有
AOF可能潜在的Bug,留着作为一个万一的手段。

5 、性能建议

因为RDB文件只用作后备用途,建议只在Slave上持久化RDB文件,而且只要 15 分钟备份一次就够
了,只保留 save 900 1 这条规则。
如果Enable AOF ,好处是在最恶劣情况下也只会丢失不超过两秒数据,启动脚本较简单只load自
己的AOF文件就可以了,代价一是带来了持续的IO,二是AOF rewrite 的最后将 rewrite 过程中产
生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可,应该尽量减少AOF rewrite
的频率,AOF重写的基础大小默认值64M太小了,可以设到5G以上,默认超过原大小100%大小重
写可以改到适当的数值。
如果不Enable AOF ,仅靠 Master-Slave Repllcation 实现高可用性也可以,能省掉一大笔IO,也
减少了rewrite时带来的系统波动。代价是如果Master/Slave 同时倒掉,会丢失十几分钟的数据,
启动脚本也要比较两个 Master/Slave 中的 RDB文件,载入较新的那个,微博就是这种架构。

Redis发布订阅

Redis 发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息。微信、
微博、关注系统!
Redis 客户端可以订阅任意数量的频道。
订阅/发布消息图:
第一个:消息发送者, 第二个:频道 第三个:消息订阅者!

127 .0.0.1:6379> SUBSCRIBE kuangshenshuo  # 订阅一个频道 kuangshenshuo
Reading messages... (press Ctrl-C to quit)
1 ) "subscribe"
2 ) "kuangshenshuo"
3 ) (integer) 1
# 等待读取推送的信息
1 ) "message" # 消息
2 ) "kuangshenshuo" # 那个频道的消息
3 ) "hello,kuangshen" # 消息的具体内容
1 ) "message"
2 ) "kuangshenshuo"
3 ) "hello,redis"
127 .0.0.1:6379> PUBLISH kuangshenshuo "hello,kuangshen" # 发布者发布消息到频道!
(integer) 1
127 .0.0.1:6379> PUBLISH kuangshenshuo "hello,redis" # 发布者发布消息到频道!
(integer) 1
127 .0.0.1:6379>

Redis主从复制

概念:主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(master/leader),后者称为从节点(slave/follower);数据的复制是单向的,只能由主节点到从节点。Master以写为主,Slave 以读为主。默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。
主从复制的作用主要包括:
1 、数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
2 、故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。
3 、负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。
4 、高可用(集群)基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。

一般来说,要将Redis运用于工程项目中,只使用一台Redis是万万不能的(宕机),原因如下:
1 、从结构上,单个Redis服务器会发生单点故障,并且一台服务器需要处理所有的请求负载,压力较大;
2 、从容量上,单个Redis服务器内存容量有限,就算一台Redis服务器内存容量为256G,也不能将所有内存用作Redis存储内存,一般来说,单台Redis最大使用内存不应该超过20G。电商网站上的商品,一般都是一次上传,无数次浏览的,说专业点也就是"多读少写"。

哨兵模式
主从切换技术的方法是:当主服务器宕机后,需要手动把一台从服务器切换为主服务器,这就需要人工干预,费事费力,还会造成一段时间内服务不可用。这不是一种推荐的方式,更多时候,我们优先考虑哨兵模式。Redis从2.8开始正式提供了Sentinel(哨兵) 架构来解决这个问题。
谋朝篡位的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从库转换为主库。哨兵模式是一种特殊的模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程,作为进程,它会独立运行。其原理是 哨兵通过发送命令,等待Redis服务器响应,从而监控运行的多个Redis实例。
在这里插入图片描述
测试:
我们目前的状态是 一主二从!
1 、配置哨兵配置文件 sentinel.conf
后面的这个数字 1 ,代表主机挂了,slave投票看让谁接替成为主机,票数最多的,就会成为主机!
2 、启动哨兵!

# sentinel monitor 被监控的名称 host port 1
sentinel monitor myredis 127 .0.0.1 6379 1
[root@kuangshen bin]# redis-sentinel kconfig/sentinel.conf
26607 :X 31 Mar 2020 21 :13:10.027 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
26607 :X 31 Mar 2020 21 :13:10.027 # Redis version=5.0.8, bits=64,
commit=00000000, modified=0, pid=26607, just started
26607 :X 31 Mar 2020 21 :13:10.027 # Configuration loaded
_._
_.-``__ ''-._
_.-`` `. `_.  ''-._ Redis 5 .0.8 (00000000/0) 64 bit
.-`` .-```. ```\/ _.,_ ''-._
(  ' , .-` | `, ) Running in sentinel mode
|`-._`-...-` __...-.``-._|'` _.-'| Port: 26379
|  `-._ `._ / _.-' | PID: 26607
`-._ `-._  `-./ _.-' _.-'
|`-._`-._  `-.__.-' _.-'_.-'|
|  `-._`-._ _.-'_.-' | http://redis.io
`-._ `-._`-.__.-'_.-' _.-'
|`-._`-._  `-.__.-' _.-'_.-'|
|  `-._`-._ _.-'_.-' |
`-._ `-._`-.__.-'_.-' _.-'

如果Master 节点断开了,这个时候就会从从机中随机选择一个服务器! (这里面有一个投票算法!)
在这里插入图片描述
在这里插入图片描述
如果主机此时回来了,只能归并到新的主机下,当做从机,这就是哨兵模式的规则!

26607 :X 31 Mar 2020 21 :13:10.029 # WARNING: The TCP backlog setting of 511
cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value
of 128.
26607 :X 31 Mar 2020 21 :13:10.031 # Sentinel ID is
4c780da7e22d2aebe3bc20c333746f202ce72996
26607 :X 31 Mar 2020 21 :13:10.031 # +monitor master myredis 127.0.0.1 6379 quorum
1
26607 :X 31 Mar 2020 21 :13:10.031 * +slave slave 127 .0.0.1:6380 127 .0.0.1 6380 @
myredis 127 .0.0.1 6379
26607 :X 31 Mar 2020 21 :13:10.033 * +slave slave 127 .0.0.1:6381 127 .0.0.1 6381 @
myredis 127 .0.0.1 6379

哨兵模式优缺点:
优点:
1 、哨兵集群,基于主从复制模式,所有的主从配置优点,它全有
2 、 主从可以切换,故障可以转移,系统的可用性就会更好
3 、哨兵模式就是主从模式的升级,手动到自动,更加健壮!
缺点:
1 、Redis 不好啊在线扩容的,集群容量一旦到达上限,在线扩容就十分麻烦!
2 、实现哨兵模式的配置其实是很麻烦的,里面有很多选择!

Redis缓存穿透和雪崩

缓存穿透(查不到)
概念
缓存穿透的概念很简单,用户想要查询一个数据,发现redis内存数据库没有,也就是缓存没有命中,于是向持久层数据库查询。发现也没有,于是本次查询失败。当用户很多的时候,缓存都没有命中(秒杀!),于是都去请求了持久层数据库。这会给持久层数据库造成很大的压力,这时候就相当于出现了缓存穿透。
解决方案:
布隆过滤器
布隆过滤器是一种数据结构,对所有可能查询的参数以hash形式存储,在控制层先进行校验,不符合则丢弃,从而避免了对底层存储系统的查询压力;
在这里插入图片描述
缓存空对象
当存储层不命中后,即使返回的空对象也将其缓存起来,同时会设置一个过期时间,之后再访问这个数据将会从缓存中获取,保护了后端数据源;
在这里插入图片描述
但是这种方法会存在两个问题:
1 、如果空值能够被缓存起来,这就意味着缓存需要更多的空间存储更多的键,因为这当中可能会有很多的空值的键;
2 、即使对空值设置了过期时间,还是会存在缓存层和存储层的数据会有一段时间窗口的不一致,这对于需要保持一致性的业务会有影响。
缓存击穿(量太大,缓存过期!)
概述
这里需要注意和缓存击穿的区别,缓存击穿,是指一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,就像在一个屏障上凿开了一个洞。当某个key在过期的瞬间,有大量的请求并发访问,这类数据一般是热点数据,由于缓存过期,会同时访问数据库来查询最新数据,并且回写缓存,会导使数据库瞬间压力过大。

解决方案:
1、设置热点数据永不过期
从缓存层面来看,没有设置过期时间,所以不会出现热点 key 过期后产生的问题。
2、加互斥锁
分布式锁:使用分布式锁,保证对于每个key同时只有一个线程去查询后端服务,其他线程没有获得分布式锁的权限,因此只需要等待即可。这种方式将高并发的压力转移到了分布式锁,因此对分布式锁的考验很大。

缓存雪崩
概念
缓存雪崩,是指在某一个时间段,缓存集中过期失效。Redis 宕机!

产生雪崩的原因之一,比如在写本文的时候,马上就要到双十二零点,很快就会迎来一波抢购,这波商品时间比较集中的放入了缓存,假设缓存一个小时。那么到了凌晨一点钟的时候,这批商品的缓存就都过期了。而对这批商品的访问查询,都落到了数据库上,对于数据库而言,就会产生周期性的压力波峰。于是所有的请求都会达到存储层,存储层的调用量会暴增,造成存储层也会挂掉的情况。

在这里插入图片描述

其实集中过期,倒不是非常致命,比较致命的缓存雪崩,是缓存服务器某个节点宕机或断网。因为自然形成的缓存雪崩,一定是在某个时间段集中创建缓存,这个时候,数据库也是可以顶住压力的。无非就是对数据库产生周期性的压力而已。而缓存服务节点的宕机,对数据库服务器造成的压力是不可预知的,很有可能瞬间就把数据库压垮。
解决方案:
1、redis高可用
这个思想的含义是,既然redis有可能挂掉,那我多增设几台redis,这样一台挂掉之后其他的还可以继续工作,其实就是搭建的集群。(异地多活!)

2、限流降级(在SpringCloud讲解过!)
这个解决方案的思想是,在缓存失效后,通过加锁或者队列来控制读数据库写缓存的线程数量。比如对
某个key只允许一个线程查询数据和写缓存,其他线程等待。

3、数据预热
数据加热的含义就是在正式部署之前,我先把可能的数据先预先访问一遍,这样部分可能大量访问的数
据就会加载到缓存中。在即将发生大并发访问前手动触发加载缓存不同的key,设置不同的过期时间,让
缓存失效的时间点尽量均匀。

redis事务的本质

即一组命令的集合。一个事务中的所有命令都会被序列化,在事务执行的过程中,会按照顺序执行。一次性、顺序性、排他性第执行一系列命令。
------ set set set ------执行完成
redis事务没有隔离级别的概念。
所有的命令在事务中,并没有直接被执行,只有发起执行命令(exec)的时候才会被执行。
redis单条命令是保证原子性的,但是事务不保证原子性。
redis的事务:
1、开启事务(multi)
2、命令入队
3、执行事务(exec)

正常执行事务

127.0.0.1:6379> multi
OK
127.0.0.1:6379> set k1 v1
QUEUED
127.0.0.1:6379> set k2 v2
QUEUED
127.0.0.1:6379> get k2
QUEUED
127.0.0.1:6379> exec
1) OK
2) OK
3) "v2"

放弃事务

127.0.0.1:6379> multi
OK
127.0.0.1:6379> set k1 v1
QUEUED
127.0.0.1:6379> discard
OK
127.0.0.1:6379> get k1
(nil)

编译型异常(代码有问题,命令有错),事务中的所有命令都不会被执行

127.0.0.1:6379> multi
OK
127.0.0.1:6379> set k1 v1
QUEUED
127.0.0.1:6379> getset k1
(error) ERR wrong number of arguments for 'getset' command
127.0.0.1:6379> set k2 v2
QUEUED
127.0.0.1:6379> exec
(error) EXECABORT Transaction discarded because of previous errors.
127.0.0.1:6379> get k2
(nil)

运行时异常,如果事务队列中存在语法型错误,那么其他命令是可以正常执行的

127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379> incr k1
QUEUED
127.0.0.1:6379> set k2 v2
QUEUED
127.0.0.1:6379> set k3 v3
QUEUED
127.0.0.1:6379> get k2
QUEUED
127.0.0.1:6379> exec
1) (error) ERR value is not an integer or out of range
2) OK
3) OK
4) "v2"

监控!Watch,unwatch

悲观锁
很悲观,认为什么时候都会出问题,无论做什么都会加锁!
乐观锁
很乐观,认为什么时候都不会出问题,所以不会上锁!更新数据的时候去判断以下,在此期间是否有人修改过这个数据,获取version,更新的时候比较version
redis监视测试
正常执行:

127.0.0.1:6379> set money 100
OK
127.0.0.1:6379> set out 0
OK
127.0.0.1:6379> watch money
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379> decrby money 20
QUEUED
127.0.0.1:6379> incrby out 20
QUEUED
127.0.0.1:6379> exec
1) (integer) 80
2) (integer) 20

测试多线程修改值,使用watch可以当作redis的乐观锁操作

127.0.0.1:6379> set money 100
OK
127.0.0.1:6379> set out 0
OK
127.0.0.1:6379> watch money      #监视money
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379> decrby money 20
QUEUED
127.0.0.1:6379> incrby out 20
QUEUED
127.0.0.1:6379> exec   #在没有exec之前,另一个线程更改了money的值,然后再执行exec就会执行失败,返回nul
(nil)

狂神bilibili免费直播地址,https://space.bilibili.com/95256449

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值