Nosql概述
为什么要用Nosql
单机mysql
- 数据量如果太大,一个机器放不下了
- 数据的索引(B+Tree),一个机器内存放不下
- 访问量(读写混合),一个服务器承受不了
为了解决问题,必须晋级!
Memcached(缓存) + mysql + 垂直拆分 (读写分离)
因为我们网站大部分时间(80%)都在读才做,每次查询数据库就十分麻烦,所以我们希望减轻数据库的访问压力,我们可以使用缓存来保证效率!
发展过程: 优化数据结构和索引–>文件缓存(IO)–>memcached(缓存)
memcached是高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性!
分库分表+水平拆分+mysql集群
本质: 数据库的读 写
早些年MyISAM: 表锁, 十分影响效率! 高并发下就会出现严重的锁问题
后来: Innodb: 行锁,效率提升很多
再后来: 慢慢使用分库分表来解决写的压力!
为什么要用Nosql
因为用户的个人信息,社交网络,地理位置等,用户自己产生的数据,用户日志等爆发式的生长,这时候我们需要使用Nosql数据库,处理以上的情况!
Nosql到底是什么
Not Only sql 不仅仅是sql,泛指非关系型数据库
关系型数据库: 表格,行,列,这样很多数据类型的个人信息,社交网络,地理位置不易存储,而Nosql就不需要多个操作,可以实现横向扩展,比如Map<String,Object> 能存万事万物!
Nosql特点
- 方便你扩展(数据之间没有关系,很好扩展) (解耦)
- 大数据量高性能(每秒写入8万次,读取11万次,Nosql的缓存记录级,是细粒度缓存,性能比较高)
- 数据类型是多样型的!(不需要实现设计数据库, 随取随用,如果数据量十分大的表,很多人无法设计)
传统的RDBMS和Nosql
传统的RDBMS
- 结构化组织
- SQL
- 数据和关系都存在单独的表中
- 操作语言,数据定义语言
- 严格的一致性
- 基础的事务
Nosql - 不仅是数据
- 没有固定的语言
- 键值对存储,列存储,文档存储,图形数据库(社交关系)
- 最终一致性
- CAP定力和BASE理论
- 高可用,高性能,高扩展
大数据时代的3V+3高
海量Volume,多样Variety,实时Velocity
高并发,高可扩,高性能
Nosql分类
Redis概述
redis是单线程的
redis是基于内存操作,cpu不是redis性能瓶颈,redis的瓶颈是根据机器的内存和网络带宽,既然可以使用单线程来实现,就使用单线程了!
那为什么Redis单线程还那么快
误区1: 高性能服务器一定是多线程?
误区2: 多线程一定比效率高?(多线程cpu上下文会切换,也会浪费时间)
原因: redis是将所有的数据放在内存中了,所以说使用单线程操作效率就是最高的,不用多线性进行cpu上下文的切换,对于内存系统来说,系统没有进行上下文切换效率就是最高的,多次读写都是在一个cpu上的,在内存情况下,这个就是最佳的方案!
Redis五大数据类型
String
set key value #设置值
get key #获取值
keys * #获取所有值
exists key #判断一个key是否存在, 0不存在,1存在
append key value #追加值,如果当前key不存在,则相当于set key
strlen key #获取字符串的长度
incr key #自增1
decr key #自减1
incrby key 10 #自增10
decrby key 10 #自减10
getrange key start end #截取字符串[start,end] (0,-1)表示所有
setrange key offset value # 替换,从offset开始,往后替换value
setex(set with expire) # 设置过期时间
setnx(set if not exist) #不存在.在设置
setex key 30 "hello" #设置key 30s 过期, 值为 hello
setnx key2 "redis" #设置key2 的值为redis , 如果key2有值,那就不成功,值为原来的,分布式锁中常常使用
mset key1 v1 key2 v2 key3 v3 #批量设置多个key和value , 空格分隔
mget key1 key2 key3 #获取多个key
msetnx k1 v1 k4 v4 # 如果k1 存在则返回0, k4也设置不成功, 原子操作
set user:1 {name:zhangsan,age:3} #设置一个user:1对象,值为json字符串来保存一个对象,这里的key是一个巧妙的设计: user:{id}:{filed},如此设计在redis中是ok的
mset user:1:name zhangsan user:1:age 2
mget user:1:name user:1:age # 获得 zhagnsan 和 2的值
getset db redis #先获取值在设置值,如果不存在值这返回nil,然后设置redis
getset db mongodb #如果存在值,获取原来的值,并设置新值,返回redis,并设置新值为mongodb
List
lpush list one #list里面添加一个值,返回数据量,插入头部
rpush list two #尾部添加一个值two,返回总数据量
lpop list #移出头部第一个
rpop list #移出尾部的元素
lrange list 0 -1 #获取所有list中的数据,也可以获取区间值
lindex list index #获取list中的下标索引对应的值
llen list #返回list的长度
lrem list 1 one #移出list中指定的one,移出了1个,可以指定个数
ltrim list 1 2 #通过下标截取指定的长度,这个list已经改变了,只剩下截取的元素
rpoplpush list list2 #将list中末尾的元素移动到list2中
lset list 0 item # 将列表中的下标的值替换为另外一个值,相当于更新操作,前提是list要存在,否则会报错
exists list #判断这个list是否存在
linsert list before|after value newValue #在vaule前面或者后面插入指定的newValue
小结:
- 其实list就是一个链表,before node after, left ,right都可以插入
- 如果key不存在,创建新的链表
- 如果key存在,新增内容
- 如果移除了所有值,空链表,也代表不存在
- 如果在两边插入或者改动值,效率最高,中间元素,相对来说效率会低一点
- 既可以作为队列也可以作为栈, lpush ,lpop (左进左出) lpush,rpop(左进右出)
Set
sadd key value #列表中添加一个元素
smembers key #获取所有的元素
sismember key value #判断某一个元素是否在set集合中
scard key #获取set集合的长度
srem key value #移除set集合中指定的元素
srandmember key #随机获取set集合中的一个元素
spop key #随机移除set集合中的元素
smove set1 set2 value #将set1中的value移动到set2中
sdiff key1 key2 #差集 , key1与key2对比,返回key2中没有的
sinter key1 key2 #交集,共同好友
sunion key1 key2 #并集,key1和key2所有的
Hash(哈希)
想象map集合
hset myhash key value #像myhash中设置一个键值对
hget myhash key #获取对应key的值
hmset myhash key value key2 value2 #设置多个键值对
hmget myhash key key2 # 获取多个值
hgetall myhash #获取所有的值
hdel myhash key #删除指定的key字段,对应的value也没了
hlen myhash #获取hash表的字段数量
hexists myhash key #判断hash表中的指定字段是否存在
hkeys myhash #获取所有的字段
hvals myhas #获取所有的值
hincrby myhash key 1 #将hash表中的指定字段的值+1
hdecrby myhash key 1 #将hash表中的指定字段的值-1
hsetnx myhash key hello #如果key不存在,则创建一个,如果存在则创建失败
Hash更适合对象的存储!
Zset(有序集合)
zadd myset 1 one #添加一个值
zadd myset 2 two 3 three #添加多个值
zrange myset 0 -1 #获取所有值
zrangebyscore salary -inf +inf #显示全部的用户,从最小到最大
zrem salary value #删除列表中的value
zcard salary #获取有序集合的个数
zcount myset 1 2 #获取指定区间的成员数量
Redis三个特殊类型
geospatial 地理位置
概述: 可以推算地理位置的信息,两地之间的距离,方圆几里的人!
geoadd #添加地理位置 (纬度、经度、名称)
#添加的时候有一些规则
# 有效的经度从-180度到180度。
# 有效的纬度从-85.05112878度到85.05112878度 ,超出范围会报错
geoadd china:city 13.361389 38.115556 beijing 13.361389 38.115556 shanghai ...
geopos # 获取指定的城市的经度和纬度
geopos china:city beijing #得到的是一个经度和纬度
geodist # 获取两个给定位置之间的距离,不存在则返回空
# 指定单位的参数unit必须是 m , km , mi(英里), ft(英尺),如果没有指定,这默认使用米作为单位,极限情况下,有0.5%的误差!
geodist china:city beijing shanghai km|m|mi|ft
georadius #以给定的经纬度为中心， 返回键包含的位置元素当中， 与中心的距离不超过给定最大距离的所有位置元素
#范围可以选用单位: m, km,mi,ft
georadius china:city 110(纬度) 30(经度) 500 km(500km) withdist(显示距离) withcoord(显示经度和纬度) count 2(显示几个)
参数:
WITHDIST: 在返回位置元素的同时， 将位置元素与中心之间的距离也一并返回。 距离的单位和用户给定的范围单位保持一致。
WITHCOORD: 将位置元素的经度和维度也一并返回。
WITHHASH: 以 52 位有符号整数的形式， 返回位置元素经过原始 geohash 编码的有序集合分值。 这个选项主要用于底层应用或者调试， 实际中的作用并不大。
COUNT : 选项去获取前 N 个匹配元素， 但是因为命令在内部可能会需要对所有被匹配的元素进行处理， 所以在对一个非常大的区域进行搜索时， 即使只使用 COUNT 选项去获取少量元素， 命令的执行速度也可能会非常慢。 但是从另一方面来说， 使用 COUNT 选项去减少需要返回的元素数量， 对于减少带宽来说仍然是非常有用的。
#和上面的参数一致,只不过是将经度和纬度换成了指定元素
georadiusbymember china:city beijing 1000 km ...
geohash #该命令将返回11个字符的Geohash字符串
geohash china:city beijing shanghai
得到:
1) "sqc8b49rny0"
2) "sqdtr74hyu0"
两个字符串越像,表示越近
geo的底层的实现原理就是zset,我们可以通过zset命令来操作geo!
zrange china:city 0 -1 #查看所有录入的地理位置
zrem china:city beijing #移出指定的元素
Hyperloglog
基数: 不重复的元素
A:{1,3,5,7,8,7} —> B{1,3,5,7,8}(基数)
Hyperloglog就是基于基数统计的算法!
优点: 占用的内存是固定的,2^64不同的元素的基数,只需要废12kb的内存,如果从内存角度来比较的话Hyperloglog首选!
例如统计网站的访问量UV(一个人访问一个网站多次,但是还是算作一个人!)
传统方式: set保存用户的id,然后可以统计set中的元素数量作为标准判断!但这种方式如果保存大量的用户id(如果长的话),就会比较麻烦,我们的目的是为了计数,而不是保存用户的id
pfadd mykey a b c d e f g h i j
pfcount mykey --> 10 #统计基数数量,保证元素不重复
pfadd mykey2 i j z x c v b n m
pfcount mykey2 --> 9
pfmerge mykey3 mykey1 mykey2 # 合并mykey1 和 mykey2 得到的是基数,重复的被去掉了!
BitMaps
位存储!
应用场景: 统计用户信息,活跃不活跃,登录未登录, 打卡未打卡,两个状态的,都可以使用BitMaps!
BitMaps位图,数据结构,都是操作二进制位来进行记录,只要0和1两个状态!
例如365天 = 365bit 1字节=8bit , 才46字节左右!
测试 :使用bitmaps来记录 周一到周日的打卡情况!
setbit sign 0 1 #sign表示打卡状态, 0代表周一, 1 表示打卡了
setbit sign 1 0 # 同上,1代表周二,0表示未打卡
setbit sign 2 0
....
getbit sign 3 # 查看周四有没有打卡,返回0表示未打卡,1表示打卡了
bitcount sign [start end] #统计这周的打卡记录,可以查看是否全勤~
事务
Redis事务本质: 一组命令的集合, 一个事务中的所有命令都会被序列化,在事务执行的过程中,会按照顺序执行!
所以redis事务具有一次性,顺序性,排他性的特性!
Redis事务中也没有隔离级别的概念(已经被序列化了),命令都进入队列里,所有的命令都在事务中,并没有直接执行,只有发起执行命令的时候才会执行!(exec命令).
Redis单条命令是保证原子性的,但是事务不保证原子性!
开启事务(multi)
命令入队(....)
执行事务(exec),事务每次执行完就结束了,需要事务要再次开启
discard(放弃事务),队列中的所有事务都不会被执行
事务中的错误或者异常:
编译性异常(代码有问题,命令都有错),事务中的所有命令都不会被执行!
运行时异常(1/0),如果事务队列中存在语法性错误,那么执行命令的时候,其他命令可以正常执行的
监控 Watch
悲观锁: 很悲观,什么时候都会出现问题,无论做什么都会加锁
乐观锁: 很乐观,认为什么时候都不会出现问题,所以不会上锁,更新数据的时候去判断一下,再次期间是否有人修改过这个数据(version版本),获取version,更新的时候比较version
Redis监控测试:
开启一个线程:
线程1:
set money 100
set out 0
watch moeny #开启监控
multi #开启事务
decrby money 20
incrby out 20
exec #执行事务,一切正常
但是如果在上面线程的事务没有执行时,又来了一个线程修改了money
线程2:
set money 1000 #在线程1修改之后
那此时线程1在执行的时候就不会成功,因为moeny已经被另一个线程修改,并不是原来的moeny(100)了,乐观锁的概念!
那事务执行失败如何解决呢?
可以先解锁,unwatch,然后再次监视,比对监视的值是否发生了变化,如果没有变化,那么可以执行成功,如果改变了,那么在解锁,再监视(自旋锁可以解决),保证拿到最新值即可!
Redis.conf详解
- 配置文件unit单位对大小写不敏感
- include 可以包含其他文件
- 网络
bind 绑定ip
protected-mode 保护模式
port 端口设置 - 通用genreal
daemonize yes 以守护进程的方式运行,默认是no,需要自己开启
pidfile /var/run/redis_6379.pid 如果以后台的方式启动,需要制定一个pid文件
- 日志
loglevel notice 日志环境
logfile “” 日志的文件位置名
databases 16 数据库的数量,默认是16个数据量
always-show-logo yes 是否显示logo
- 快照
持久化,在规定的时间内,执行了多少次操作,则会持久化文件.rdb .aof
save 900 1 如果900s内,至少有1个key进行了修改,我们就进行持久化的操作
save 300 10 如果300s内,至少有10个key进行了修改,我们就进行持久化的操作
save 60 100000 如果60s内,至少有10000个key进行了修改,我们就进行持久化的操作
stop-write-on-bgsave-error yes 持久化失败了是否要继续工作
rdbcompression yes 是否压缩rdb文件,需要消耗一些cup资源
rdbchecksum yes 保存rdb文件的时候,进行错误的校验检查
dir ./ 文件保存的目录
- replication 主从复制
- security 安全相关
requirepass 123456 配置密码,默认没有密码,手动配置
config get requirepass 获取redis的密码
config set requirepass 123456 设置redis的密码
auth 123456 密码认证
- clients 客户端设置
maxclients 10000 设置能连接上redis的最大客户端数量
maxmemory redis配置最大的内存容量
maxmemory-policy noeviction 内存满了之后的处理策略
- append only 模式 aof的配置
appendonly no 默认不开启aof模式,默认使用的是rdb方式持久化的,大部分情况下,rdb完全能够用
appendfilename “appendonly.aof” 持久化文件的名字
appendfsync always 每次修改都会sync(同步) 消耗性能
appendfsync everysec 每秒执行一次 sync同步, 可能会丢失1s 的数据
appendfsync no 不执行 sync同步,这时操作系统自己同步数据,速度最快
Redis持久化
RDB
rdb持久化机制是在指定的时间间隔内讲内存中的数据集快照写入磁盘,也就是行话常讲的Snapshot快照,它恢复时是将快照文件直接读到内存中.
Redis会单独创建一个子进程(fork)来进行持久化,会先讲数据写到一个临时文件中,持久化过程结束了,再用这个临时文件替换上次持久化好的文件,整个过程中,主进程是不进行任何IO操作的.这就确保了极高的性能,如果需要对大量数据进行恢复,而且对于恢复的完整性不是很敏感,那么RDB方式要比AOF方式更加高效,RDB的缺点是最后一次持久化的数据可能丢失,我们默认的就是RDB,一般情况下不需要修改配置!
rdb保存的文件是dump.rdb,可以在redis.conf看到文件配置,dbfilename dump.rdb
rdb规则触发条件:
可以看到配置文件中 save 900 1 ,默认900s 内执行了修改,就会触发rdb操作
执行flushall也会触发rdb规则
退出redis,也会产生rdb文件
如何恢复rdb文件?
只需要将rdb文件放到redis启动目录就可以了,redis启动的时候会自动检测rdb文件,恢复其中的数据!
优点: 适合大规模的数据恢复,对数据的完整性要求不高
缺点: 需要一定的时间间隔进程操作, 如果redis意外宕机了,这个最后一次修改数据就没有了,还有就是folk进程的时候会占用一定的内容空间!
AOF
aof是以日志的形式来记录每个写操作,将redis执行过的所有指令记录下来(读操作不记录),只允许追加文件但不可以改写文件,redis启动之初会读取改文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作!
aof默认是不开启的,需要在配置文件中将applendonly改为yes,就开启了,重启就可以生效了!
如果这个aof文件有错误,这时候redis服务可以启动,但是拒绝连接,需要修复这个aof文件,在bin目录下有一个redis-check-aof,可以修复aof文件, redis-check-aof – fix appendonly.aof即可
优点:
appendfilename “appendonly.aof” 持久化文件的名字
appendfsync always 每次修改都会sync(同步) 消耗性能
appendfsync everysec 每秒执行一次 sync同步, 可能会丢失
缺点: 相对于数据文件来说,aof远大于rdb文件,修复的数据也比rdb慢,AOF运行效率也要比rdb慢,所以redis默认的配置是rdb持久化!
当文件越来越大时怎么办?重写机制,在文件达到一定大小的时候会fork一条新的进程将文件进行重写!
扩展:
- rdb持久化方式能够在指定的时间间隔内对数据进行快照存储
- aof持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,aof命令以redis协议追加保存每次写的操作到文件末尾,redis还能对aof文件进行后台重写,使得aof文件的体积不至于过大
- 只做缓存,如果只希望数据在服务器运行的时候存在,也可以不使用任何持久化
- 同时开启两种持久化方式:
在这种情况下,当redis重启的时候会有限载入aof文件来恢复原始数据,因为通常情况下aof文件保存的数据集要比rdb文件保存的数据集要完整
rdb得数据不实时,同时使用两者时服务器重启也只会找aof文件,那要不要只使用aof文件呢? 建议不要,因为rdb更适合用于备份数据库(aof在不断变化不好备份),快速重启,而且不会有aof可能潜在的bug,留着作为一个万一的手段 - 性能建议
因为rdb文件只用作后备用途, 建议只在slave上持久化rdb文件,而且只要15分中备份一次就好了,只保留save 900 1这条规则即可
如果Enable aof,好处是在最恶劣的情况下也只会丢失不超过2s的数据,启动脚本较为简单,值load自己的aof文件就可以了,代价一是带来了持续的IO,二是aof rewrite 的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的. 只要硬盘许可,应尽量减少aof rewrite的频率, aof重写的基础大写默认值64m太小了,可以设到5G以上,默认超过原大小100%大小重写可以改到适当的数值
如果不Enable aof , 仅靠Master-Slave Repllcation (主从复制),实现高可用性也可以,能省掉一大笔IO,也减少了rewrite时带来的系统波动, 代价是如果Master/Slave同时倒下,会丢失十几分钟的数据,启动脚本也要比两个Master/Slave中的RDB文件,载入较新的那个,微博就是这种架构!
发布订阅
Redis发布订阅(pub/sub)是一种消息通信模式,发送者(pub)发送消息,订阅者(sub)接收消息,redis客户端可以订阅任意数量的频道.
命令:
psubscribe parttern[parttern...] #订阅一个或多个符合给定模式的频道
punsubscribe [parttern[pattern...]] #退订所有给定模式的频道
pubsub subcommond[argument [argument...]] #查看订阅与发布系统状态
publish channel message #将信息发送到指定的频道
subscribe channel [channel ...] # 订阅一个或者多个频道的信息
unsubscribe [channel [channel...]] #退订给定的频道
原理:
Redis是使用c实现的,通过publish,subscribe和psubscribe等命令实现发布和订阅功能;
通过subscribe命令订阅某频道后,redis-server里面维护了一个字典,字典的键就是一个个的channel,而字典的值则是一个链表,链表中保存了所有订阅这个channel的客户端.subscribe命令的关键,就是将客户端添加到给定的channel的订阅链表中.
通过publish命令向订阅者发送消息,redis-server会使用给定的频道作为键,在它维护的channel字典中查找记录了订阅这个频道的所有客户端的链表,遍历这个链表,将消息发布给所有的订阅者
pub/sub从字面上理解就是发布(publish)与订阅(subscribe), 在redis中,你可以设定对某一个key值进行消息发布与订阅,当一个key值上进行消息发布后,所有订阅它的客户端都会受到相应的消息,这一功能最明显的用户就是用作实时消息系统,比如普通的即时聊天,群聊等功能!
主从复制
主从复制,是指将一台Redis服务器的数据,复制到其他Redis服务器.前者称为主节点 ,后这称为从节点. 数据的复制是单向的, 只能由主节点到从节点. Master以写为主, Slave以读为主.
默认情况, 每台Redis服务器都是主节点, 且一个主节点可以有多个从节点(或者没有从节点), 但一个从节点只能有一个主节点.
主从复制的作用主要包括:
- 数据冗余: 主从复制实现了数据的热备份, 是持久化之外的一种数据冗余方式.
- 故障恢复: 当主节点出现问题时, 可以由从节点提供服务, 实现快速的故障恢复, 实际上是一种服务的冗余.
- 负债均衡: 在主从复制的基础上, 配合读写分离, 可以由主节点提供服务, 由从节点提供读服务(即写Redis数据时应用连接主节点 , 读Redis数据时应用连接从节点) , 分担服务器负载, 尤其是在写少读多的场景下, 通过多个从节点分担读负载, 可以大大提高Redis服务器的并发量.
- 高可用基石: 除了上述作用以外, 主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础.
一般来说,要讲Redis运用于工程项目中,只使用一台Redis是万万不可能的,原因如下:
- 从结构上, 单个Redis服务器会发生单点故障, 并且一台服务器需要处理所有的请求负载, 压力较大.
- 从容量上, 单个Redis服务器内存容量有限, 就算一台Redis服务器容量为256G, 也不能将所有内存用作Redis存储内存,一般来说, 单台Redis最大使用内存不应该超过20G
- 电商网站上的商品, 一般都是一次上传, 无数次浏览的, 说专业点就是"多读少写",对于这种场景,我们便可以使用这种架构:
- 主从复制,读写分离! 80%的情况下都是在进行读操作! 减缓服务器的压力, 架构中经常使用,一主二从~
伪集群搭建:- 复制三个配置文件,然后修改对应的信息
- 端口
- pid名字
- log文件名字
- dump.rdb名字
配置命令:
slaveof 主机名 # 认定主机为老大
info replication #查看节点信息,可以看到主机和从机的信息
注意: 配置完之后,主机写,从机不能写的!
slaveof no one # 自己当老大,没有设置其他主节点,自己就是主节点了,如果原老大回来了,不管他
复制原理:
Slave启动成功连接到mater后会发送一个sync同步命令 , Master街道命令, 启动后台的存盘进程, 同时收集所有接收到用于修改数据集命令, 在后台进程执行完毕之后, master将传送整个数据文件到slave , 并完成一次完全同步!
全量复制: 而slave服务在接收到数据库文件数据后, 将其存盘并加载到内存中
增量复制: Master继续将新的所有收集到的修改命令一次传给slave,完成同步
但是只要是重新连接master, 一次完全同步(全量复制)将被自动执行
哨兵模式(自动选取老大)
主从切换技术的方法是: 当主服务器宕机后, 需要手动把一台从服务器切换为主服务器, 这就需要人工干预, 费事费力, 还会造成一段时间内服务不可用. 这不是一种推荐的方式,更多的时候,我们优先考虑哨兵模式. Redis从2.8开始正式提供了Sentinel(哨兵)架构来解决这个问题.
谋朝篡位的自动版, 能够后台监控主机是否故障, 如果故障了根据投票数自动将从库切换为主库.
哨兵模式是一种特殊的模式, 首先Redis提供了哨兵的命令, 哨兵是一个独立的进程,作为进程, 它会独立运行. 其原理是哨兵通过发送命令, 等待Redis服务器响应,从而监控进行的多个Redis实例.
哨兵模式的两个作用:
- 通过发送命令,让Redis服务器返回, 监控其运行状态, 包括主服务器和从服务器.
- 当哨兵监测到master宕机, 会自动将slave切换为master,然后通过发布订阅模式通知其他的从服务器 ,修改配置文件 ,让它们切换主机,然而一个哨兵进程对Redis服务器进行监控, 可能会出现问题 ,为此, 我们可以使用多个哨兵进行监控. 各个哨兵之间还会进行监控, 这样就形成了多哨兵模式.
- 假设主服务器宕机, 哨兵1先检测到这个结果, 系统并不会马上进行failover过程, 仅仅是哨兵1主观的认为主服务器不可用, 这个现象称为主观下线, 当后面的哨兵也监测到主服务器不可用, 并且数量达到一定值时, 那么哨兵之间就会进行一次投票, 投票的结果是由一个哨兵发起, 进行failover(故障转移)操作. 切换成功之后, 就会通过发布订阅模式 ,让各个哨兵把自己监控的从服务器实现切换主机, 这个过程称为客观下线 !
配置一主二从:
sentinel.conf
sentinel monitor myreids 127.0.0.1 6379 1 #开启监控,1表示主机挂了, 会开启投票机制,看谁称为主机
会自动选择一个从机称为主机,执行选举算法
Redis缓存穿透和雪崩
缓存穿透(查不到):
缓存穿透的概念很简单, 用户想要查询一个数据, 发现redis内存数据库没有, 也就是没有缓存命中, 于是向持久层数据库查询, 发现也没有, 于是本次查询失败. 当用户很多的时候, 缓存都没有命中, 于是都去请求了持久层数据库. 这会给持久层数据库造成很大的压力, 这时候就相当于出现了缓存穿透!
解决方案:
1. 布隆过滤器: 布隆过滤器是一种数据结构, 对所有可能查询的参数以hash形式存储, 在控制层先进行校验, 不符合则丢弃, 从而避免了对底层存储系统的查询压力.
布隆过滤器（Bloom Filter）的核心实现是一个超大的位数组和几个哈希函数
以上图为例，具体的操作流程：假设集合里面有3个元素{x, y, z}，哈希函数的个数为3。首先将位数组进行初始化，将里面每个位都设置位0。对于集合里面的每一个元素，将元素依次通过3个哈希函数进行映射，每次映射都会产生一个哈希值，这个值对应位数组上面的一个点，然后将位数组对应的位置标记为1。查询W元素是否存在集合中的时候，同样的方法将W通过哈希映射到位数组上的3个点。如果3个点的其中有一个点不为1，则可以判断该元素一定不存在集合中。反之，如果3个点都为1，则该元素可能存在集合中。注意：此处不能判断该元素是否一定存在集合中，可能存在一定的误判率。可以从图中可以看到：假设某个元素通过映射对应下标为4，5，6这3个点。虽然这3个点都为1，但是很明显这3个点是不同元素经过哈希得到的位置，因此这种情况说明元素虽然不在集合中，也可能对应的都是1，这是误判率存在的原因。
2. 缓存空对象
当存储层不命中后, 即使返回的空对象也将其缓存起来, 同时会设置一个过期时间, 之后再访问这个数据将会从缓存总获取, 保护了后端数据源; 但是这种方法会有问题, 如果空值能够被缓存起来, 这就意味着缓存需要更多的空间存储更多的键,因为这当中可能会有很多空值的键, 其次即使对空值设置了过期时间, 还是会存在缓存层和存储层的数据会有一段时间窗口的不一致, 这对于需要保持一致性的业务会有影响
缓存击穿(量太大,缓存过期)
这里需要注意和缓存穿透的区别, 缓存击穿,是指一个key非常热点 ,在不停的扛着大并发, 大并发集中对一个点进行访问, 当着个key在失效的瞬间, 持续的大并发就穿破缓存, 直接请求数据库, 就像在一个屏幕上凿开了一个洞; 当某刻key在过期的瞬间, 有大量的请求并发访问, 这类数据一般是热点数据, 由于缓存过期, 会同时访问数据库来查询最新数据并且写回缓存,会导师数据库瞬间压力过大!
解决方案:
1. 设置热点数据永不过期, 从缓存层面来看,没有设置过期时间, 所以不会出现热点key过期的问题,
2. 加互斥锁,使用分布式锁,保证对于每一个key同时只有一个线程去查询后端服务 ,其他线程没有获得分布式锁的权限, 因此只需要等待即可,这种方式将高并发的压力转到了分布式锁, 因此对分布式锁的考验很大
缓存雪崩
缓存雪崩,是指在某一个时间段, 缓存集中过期失效. Redis宕机!
产生雪崩的原因之一, 比如在写本文的时候, 马上要到双十二零点, 很快就会迎来一波抢购, 这波商品时间比较集中的放入缓存,假设缓存一小时, 那么到了凌晨一点钟的时候, 这批商品的缓存就过期了,对于这批商品的访问查询, 都落到了数据库上, 对于数据库而言, 就会产生周期性的压力波峰. 于是所有的请求都会达到存储层, 存储层的调用量会暴增, 造成存储层也会挂掉的情况!
其实集中过期,倒也不是非常致命, 比较致命的缓存雪崩,是缓存服务器某个节点宕机或断网,因为自然形成的缓存雪崩, 一定是在某个时间段集中创建缓存, 这个时候, 数据库也是可以顶住压力的, 无非就是对数据库产生周期性的压力而已, 而缓存服务节点的宕机, 对数据库服务器造成的压力是不可预知的, 很有可能瞬间就能把数据库压垮!
解决方案:
- redis高可用: 这个思想的含义是,既然redis有可能挂掉, 那我多增加几台redis,这样一台挂掉之后其他的还可以继续工作, 其实就是搭建集群
- 限流降级: 这个解决方案的思想是,在缓存失效后, 通过加锁或者队列来控制读数据库写缓存的线程数量, 比如对某个key只允许一个线程查询数据和写缓存,其他线程等待即可
- 数据预热: 数据加热的含义就是在正式部署之前, 我先把可能的数据线预先访问一遍, 这样部分可能大量数据访问的数据就会加载带缓存中, 在即将发生大并发访问前手动触发加载缓存不同的key, 设置不同的过期时间,让其缓存失效的时间点也尽量均匀!
1892
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
