学习笔记-redis

$start_date = '20170708';
$end_date = '20170709';
$offset = floor((strtotime($start_date) - strtotime($end_date)) / 86400);
$redis->setBit('sign_123456', $offset, 1);

//算活跃天数
$redis->bitCount('sign_123456', 0, -1)

4、连续签到

指定时间内，判断多少人签到连续签到成功

// SETBIT 日期  用户ID  value

SETBIT 20211015 10 1
SETBIT 20211016 10 1
SETBIT 20211017 10 1
SETBIT 20211018 10 1

SETBIT 20211015 20 1
SETBIT 20211016 20 0
SETBIT 20211017 20 1
SETBIT 20211018 20 1

SETBIT 20211015 30 1
SETBIT 20211016 30 1
SETBIT 20211017 30 1
SETBIT 20211018 30 1

SETBIT 20211015 40 1
SETBIT 20211016 40 0
SETBIT 20211017 40 0
SETBIT 20211018 40 1

BITOP AND destmap 20211015 20211016 20211017 20211018

BITCOUNT destmap
2

Redis单线程和高性能

Redis线程模型

Redis基于Reactor模式开发了网络事件处理器，这个处理器被称为文件事件处理器（file event handler）。它的组成结构为4部分：多个套接字、IO多路复用程序、文件事件分派器、事件处理器。因为文件事件分派器队列的消费是单线程的，所以Redis才叫单线程模型。

文件事件处理器使用 I/O 多路复用（multiplexing）程序来同时监听多个套接字，并根据套接字目前执行的任务来为套接字关联不同的事件处理器。
当被监听的套接字准备好执行连接应答（accept）、读取（read）、写入（write）、关闭（close）等操作时，与操作相对应的文件事件就会产生，这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。

虽然文件事件处理器以单线程方式运行，但通过使用 I/O 多路复用程序来监听多个套接字，文件事件处理器既实现了高性能的网络通信模型，又可以很好地与 redis 服务器中其他同样以单线程方式运行的模块进行对接，这保持了 Redis 内部单线程设计的简单性。

Redis不是严格意义上的单线程，单线程是指客户端发起的命令式单线程的。也就是执行命令式单线程。持久化、异步删除等都是由额外线程做的

Redis 的IO多路复用，利用epoll实现多路复用。

Redis持久化

1、RDB 快照（Redis DataBase）

redis.conf 中可以配置策略。持久化到磁盘.rdb文件中，默认dump.rdb。

1、save方式，同步操作，会阻碍线程

2、bgsave方式，后台执行性，异步，不会阻塞

缺点：当快照文件做恢复时，生成子进程，如果父进程还在写数据，这部分数据会丢失。

RDB快照是一次全量备份，存储的是内存数据的二进制序列化形式，存储上非常紧凑。

2、AOF（Append Only File）

redis.conf 开启：appendonly 改成 yes 。

策略(触发机制)： appendfsync always/everysec/no 默认 everysec 每秒

原理：redis的命令会通过write追加到aof文件中,会生成子进程重写机制。

redis重启后，重放，可以配合重写策略。

缺点：文件大

RDB 与 AOF 对比

3、RDB+AOF模式

混合持久化：实际是特殊的AOF。将RDB的save关闭，打开aof

将快照记录以二进制到AOF文件中，后续命令追加。

Redis缓存

Redis内存淘汰策略-maxmemery-policy

生成环境需要设置最大内存，超过最大内存怎么处理? 默认是noeviction，不允许写入

在过期数据删除：

1、volatile-ttl：设置过期时间键值先后删除

2、volatile-random:设置过期时间键值对随机删除

3、volatile-lru:LRU算法最近最少使用（Lest Recently Used）--推荐

4、volatile-lfu:LFU算法最不经常使用（Least Frequently Used）

类似热点数据

在所有key中删除：

5、allkey-random

6、allkey-lru

7、allkey-lfu

不处理：

8、noeviction:内存满了直接OOM不允许写入 ---默认

Redis 4种架构模式

单机、主从、哨兵sentinel、集群cluster

主从模式

Redis的主从结构可以采用一主多从或者级联结构。可以分担读。

这就涉及到上面说的备份，rdb还是aof模式，又或者rdb+aof模式

优点	1、解决数据备份问题
	2、做到读写分离，提高服务器性能
缺点	1、不会主从切换，需要人工干预
	2、无法扩容

哨兵模式 sentinel

复制一份redis.conf 修改配置。

主节点复制写，从节点可以提供读

哨兵sentinel不提供读写，只负责监控master，选举

Reids集群

Cluster 集群模式，不仅包含了哨兵、主从复制等功能，实现了 Redis 的分布式存储，也就是说每台 Redis 节点上存储不同的内容。

官方说明至少3个master节点，集群间通过gossip协议：ping/meet/pong/faild等命令,可以横向扩容最好不要超过1000。

集群的键空间被分割为16384个slots（即hash槽），通过hash的方式将数据分到不同的分片上的。

集群的特点

所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。
节点的fail是通过集群中超过半数的节点检测失效时才生效。
客户端与 Redis 节点直连,不需要中间代理层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。

redis-cli -a 密码 --cluster 1 IP1:port IP1:port IP1:port ...

1代表一从节点

# 禁止保护模式
protected-mode no
# 配置监听的主服务器，这里sentinel monitor代表监控，mymaster代表服务器的名称，可以自定义，192.168.11.128代表监控的主服务器，6379代表端口，2代表只有两个或两个以上的哨兵认为主服务器不可用的时候，才会进行failover操作。
sentinel monitor mymaster 192.168.11.128 6379 2
# sentinel author-pass定义服务的密码，mymaster是服务名称，123456是Redis服务器密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster 123456

1 、集群选举

Redis集群搭建及选举原理 - 白露非霜 - 博客园

当slave发现自己的master变为FAIL状态时，便尝试进行Failover，以期成为新的master。由于挂掉的master 可能会有多个slave，从而存在多个slave竞争成为master节点的过程，其过程如下： 1.slave发现自己的master变为FAIL

2.将自己记录的集群currentEpoch加1，并广播FAILOVER_AUTH_REQUEST 信息

3.其他节点收到该信息，只有master响应，判断请求者的合法性，并发送FAILOVER_AUTH_ACK，对每一个 epoch只发送一次ack

4.尝试failover的slave收集master返回的FAILOVER_AUTH_ACK

5.slave收到超过半数master的ack后变成新Master(这里解释了集群为什么至少需要三个主节点，如果只有两个，当其中一个挂了，只剩一个主节点是不能选举成功的)

6.slave广播Pong消息通知其他集群节点。从节点并不是在主节点一进入 FAIL 状态就马上尝试发起选举，而是有一定延迟，一定的延迟确保我们等待 FAIL状态在集群中传播，slave如果立即尝试选举，其它masters或许尚未意识到FAIL状态，可能会拒绝投票

•延迟计算公式： DELAY = 500ms + random(0 ~ 500ms) + SLAVE_RANK * 1000ms •SLAVE_RANK表示此slave已经从master复制数据的总量的rank。Rank越小代表已复制的数据越新。这种方式下，持有最新数据的slave将会首先发起选举（理论上）。

为什么redis推荐奇数个节点？

首先Redis是推荐奇数个节点，从来没有过必须是奇数节点的说法。

原因是从成本上考虑，因为奇数个节点和偶数个节点允许宕机的节点数是一样的，

集群中，半数以上节点认为主节点故障了，才会选举新的节点。

比如3个节点和4个节点都只允许宕机一台，那么为什么要搞4个节点去浪费服务资源呢？

说说Redis哈希槽的概念

一致性hash算法和redis集群动态数据存储_sherry_y_fan的博客-CSDN博客

Redis集群有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽，集群的每个节点负责一部分hash槽。

脑裂问题

集群脑裂问题，就是一个集群多个主节点，会导致数据丢失。

当集群主节点挂了，重新选举新的主节点，当挂了的主节点恢复后，就有两个主节点。

规避脑裂问题：配置 min-slaves-to-write 1 半数写入成功，客户端才收到成功。

但这就牺牲了集群的可用性。即用数据一致性换取了高可用。

redis做缓存，其实没必要保证数据一致性。

分布式锁

通过synchronized（this）{}

缺陷：

单机没问题，但是高并发集群就会出问题。

分布式锁

JVM的锁是不适合分布式的。

第一种：

原理：redis的key只要对一次设置才能成功！

注意防止异常finally 繁殖宕机设置超时时间

以上方法，普通并发是可以的，

如果高并发，线程执行时间超过超时时间，有可能被误删锁了。

缓存异常

1、缓存穿透问题

缓存穿透是指缓存和数据库中都没有的数据，导致所有的请求都落到数据库上，造成数据库短时间内承受大量请求而崩掉。

解决方案

接口层增加校验，如用户鉴权校验，id做基础校验，id<=0的直接拦截；
从缓存取不到的数据，在数据库中也没有取到，这时也可以将key-value对写为key-null，缓存有效时间可以设置短点，如30秒（设置太长会导致正常情况也没法使用）。这样可以防止攻击用户反复用同一个id暴力攻击
采用布隆过滤器，将所有可能存在的数据哈希到一个足够大的 bitmap 中，一个一定不存在的数据会被这个 bitmap 拦截掉，从而避免了对底层存储系统的查询压力

解决方法：

1）缓存空对象，且一定要设置过期时间。

2）布隆过滤器

建一个布隆过滤器，将所以可以放进去

2、缓存失效（缓存击穿）

一般秒杀活动开始，同时上架一批货品，这是会将热点商品同时放入缓存中，那这边数据的失效时间是一样的，导致有可能同时失效。

解决方案：

缓存失效时间设置添加随机数

3、缓存雪崩

缓存雪崩是指缓存同一时间大面积的失效，所以，后面的请求都会落到数据库上，造成数据库短时间内承受大量请求而系统崩掉。（Redis挂了，或者数据量太多）

解决方案

缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生。
一般并发量不是特别多的时候，使用最多的解决方案是加锁排队。
给每一个缓存数据增加相应的缓存标记，记录缓存的是否失效，如果缓存标记失效，则更新数据缓存。
限流策略，允许异步的情况，可以
降级处理，给些友好的提示

热点缓存key重建

例如：一些冷数据，是不会放入缓存的，但是突然将爆的情况，那请求会直接访问数据库，导致系统挂了

解决方案：分布式锁 set nx , 先拦一下

缓存与数据库双写不一致

以下两张图，都有问题

解决方案

1、并发情况很小，后者自己内部数据，加个超时时间1分钟，短时间数据不一致没关系

2、高并发情况，访问的是公共数据。一定要数据一致的情况，分布式锁，读写锁！会牺牲性能~

缓存预热：

maxIdle，MaxTotal

常见问题

1、什么是 Redis?

2、Redis 的数据类型？

3、使用 Redis 有哪些好处？

4、Redis 相比 Memcached 有哪些优势？

5、Memcache 与 Redis 的区别都有哪些？

6、Redis 是单进程单线程的？

7、一个字符串类型的值能存储最大容量是多少？

8、Redis 的持久化机制是什么？各自的优缺点？

9、Redis 常见性能问题和解决方案：

10、redis 过期键的删除策略？

11、Redis 的回收策略（淘汰策略）?

12、为什么 Redis 需要把所有数据放到内存中？

13、Redis 的同步机制了解么？

14、Pipeline 有什么好处，为什么要用 pipeline？

15、是否使用过 Redis 集群，集群的原理是什么？

16、Redis 集群方案什么情况下会导致整个集群不可用？

17、Redis 支持的 Java 客户端都有哪些？官方推荐用哪个？

18、Jedis 与 Redisson 对比有什么优缺点？

19、Redis 如何设置密码及验证密码？

20、说说 Redis 哈希槽的概念？

21、Redis 集群的主从复制模型是怎样的？

22、Redis 集群会有写操作丢失吗？为什么？

23、Redis 集群之间是如何复制的？

24、Redis 集群最大节点个数是多少？

25、Redis 集群如何选择数据库？

26、怎么测试 Redis 的连通性？

27、怎么理解 Redis 事务？

28、Redis 事务相关的命令有哪几个？

29、Redis key 的过期时间和永久有效分别怎么设置？

30、Redis 如何做内存优化？

31、Redis 回收进程如何工作的？

32、都有哪些办法可以降低 Redis 的内存使用情况呢？

33、Redis 的内存用完了会发生什么？

34、Redis 多线程的实现机制？

chenlu4ever

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
学习笔记-redis

1、常见的存储结构String，List(列表)，Set（无序集合），Zset（有序集合），Hash2、常见的redis命令del keyString类型set key valueget key value计数器命令 :INCR tblkey:orderidHash类型命令获取key下全部信息：hgetall cart:1001List类型命令场景：微博消息推送大V发微博，推送给关注的人LPUSHLPUSH/RPUSH key valueLP..
复制链接

扫一扫